兵工学报 ›› 2023, Vol. 44 ›› Issue (6): 1588-1601.doi: 10.12382/bgxb.2022.0288
夏琳琳1,*(), 张晶晶1, 初妍2, 张道畅3, 宋梓维1, 崔家硕1, 刘瑞敏1
收稿日期:
2022-04-22
上线日期:
2023-06-30
通讯作者:
基金资助:
XIA Linlin1,*(), ZHANG Jingjing1, CHU Yan2, ZHANG Daochang3, SONG Ziwei1, CUI Jiashuo1, LIU Ruimin1
Received:
2022-04-22
Online:
2023-06-30
摘要:
模仿生物复眼对偏振光敏感机理的偏振光导航是近年兴起的新技术,具有稳定、无源及完全自主的特性,偏振传感器的小型化、一体化使其与低成本相机、惯性测量单元等有效集成成为可能。回顾分析多传感器融合的视觉同时定位与地图创建(Simultaneous Localization and Mapping, SLAM)解决方案,梳理偏振导航传感器、天空偏振模式等最新研究进展,进而通过对辅以天空偏振光的视觉-惯性导航系统(Visual-Inertial Navigation System,VINS)的探索,进一步阐释该方案是应对视觉SLAM室外长航时导航实际的可行解。在此基础上,指出面向室外机器人操作系统、图优化框架的偏振成像仪定向观测约束模型的挑战性问题,供研究者探讨。所开发的偏振光辅助的VINS-Fusion具有扩展绝对位姿约束边的图优化技术特色,可实现全局一致的导航轨迹跟踪,为遥感测绘、军事探索等任务中的自主移动机器人导航与定位提供了创新性技术支持。
夏琳琳, 张晶晶, 初妍, 张道畅, 宋梓维, 崔家硕, 刘瑞敏. 融合天空偏振光的视觉SLAM研究进展与展望[J]. 兵工学报, 2023, 44(6): 1588-1601.
XIA Linlin, ZHANG Jingjing, CHU Yan, ZHANG Daochang, SONG Ziwei, CUI Jiashuo, LIU Ruimin. Progress and Prospects of Polarized Skylight Fused Visual SLAM[J]. Acta Armamentarii, 2023, 44(6): 1588-1601.
模型 | 年份 | 模型名称 | 模型描述 | 来源文献 |
---|---|---|---|---|
1995 | Rayleigh散射模型 | 描述晴朗天气下偏振模式的总体特征;但仅考虑了单次散射,且无法描述天空中的中性点对天空偏振模式的影响 | Bucholtz[ | |
2004 | Hannay多次散射模型 | 结合了大气传输模型;将单粒子Rayleigh传输过程推广至多次散射序列 | Hannay[ | |
基于Rayleigh散射提出的解析模型 | 2013 | 多次散射下大气偏振模式解析模型 | 从Rayleigh散射模型出发,结合Perez光强分布,考虑大气粒子多次散射特性;构建多次散射下天空偏振光解析模型 | 吴良海等[ |
2014 | 月光偏振模式解析模型 | 基于Rayleigh散射,将单个粒子的单次散射从二维空间拓展到三维空间,建立月光偏振模式解析模型;可用于晴朗天气下满月夜间的导航 | 崔岩等[ | |
2020 | 波动水面下偏振模式解析模型 | 利用Cox-Munk海浪模型描述波浪水面,建立基于Rayleigh散射、波动水面的折射及水面分子散射的波动水面下偏振模式解析模型 | 褚金奎等[ | |
2021 | 等偏振度解析模型 | 基于Rayleigh散射理论,提取偏振度的分布形态特征,建立大气偏振模式的等偏振度特征模型;实测情况下较Rayleigh散射模型更加准确 | 汪先球[ | |
1968 | Monte Carlo随机传输模型 | 面向混浊大气下、经多重散射引起的天空偏振光模式不对称问题;模型复杂度极高,难以用于实时导航 | Kattawar等[ | |
2004 | Berry奇异值模型 | 对偏振中性点进行描述,分别为Arago,Brewster,Babinet和第四中性点 | Berry等[ | |
基于Mie散射提出的解析模型 | 2011 | 矢量辐射传输模型 | 基于Monte Carlo法,将矢量传输方程用于偏振模式分布与物理因素相关性研究;更适用于气溶胶、云团等复杂大气环境 | Buras等[ |
2013 | 基于RT3的大气偏振模型 | 基于RT3传输模型,对混浊大气偏振模式进行分析;但对于全天域范围内的混浊大气偏振模式表征仍不适用 | 王威等[ | |
2014 | 混浊大气偏振模式解析模型 | 以三维天球大气模型为基础,用Monte Carlo法模拟太阳光在大气中的传输过程,实现对混浊大气偏振全局分布的建模 | 王子谦等[ |
表1 基于两种散射理论提出的解析模型
Table 1 Analytical models based on two scattering theories (Rayleigh and Mie)
模型 | 年份 | 模型名称 | 模型描述 | 来源文献 |
---|---|---|---|---|
1995 | Rayleigh散射模型 | 描述晴朗天气下偏振模式的总体特征;但仅考虑了单次散射,且无法描述天空中的中性点对天空偏振模式的影响 | Bucholtz[ | |
2004 | Hannay多次散射模型 | 结合了大气传输模型;将单粒子Rayleigh传输过程推广至多次散射序列 | Hannay[ | |
基于Rayleigh散射提出的解析模型 | 2013 | 多次散射下大气偏振模式解析模型 | 从Rayleigh散射模型出发,结合Perez光强分布,考虑大气粒子多次散射特性;构建多次散射下天空偏振光解析模型 | 吴良海等[ |
2014 | 月光偏振模式解析模型 | 基于Rayleigh散射,将单个粒子的单次散射从二维空间拓展到三维空间,建立月光偏振模式解析模型;可用于晴朗天气下满月夜间的导航 | 崔岩等[ | |
2020 | 波动水面下偏振模式解析模型 | 利用Cox-Munk海浪模型描述波浪水面,建立基于Rayleigh散射、波动水面的折射及水面分子散射的波动水面下偏振模式解析模型 | 褚金奎等[ | |
2021 | 等偏振度解析模型 | 基于Rayleigh散射理论,提取偏振度的分布形态特征,建立大气偏振模式的等偏振度特征模型;实测情况下较Rayleigh散射模型更加准确 | 汪先球[ | |
1968 | Monte Carlo随机传输模型 | 面向混浊大气下、经多重散射引起的天空偏振光模式不对称问题;模型复杂度极高,难以用于实时导航 | Kattawar等[ | |
2004 | Berry奇异值模型 | 对偏振中性点进行描述,分别为Arago,Brewster,Babinet和第四中性点 | Berry等[ | |
基于Mie散射提出的解析模型 | 2011 | 矢量辐射传输模型 | 基于Monte Carlo法,将矢量传输方程用于偏振模式分布与物理因素相关性研究;更适用于气溶胶、云团等复杂大气环境 | Buras等[ |
2013 | 基于RT3的大气偏振模型 | 基于RT3传输模型,对混浊大气偏振模式进行分析;但对于全天域范围内的混浊大气偏振模式表征仍不适用 | 王威等[ | |
2014 | 混浊大气偏振模式解析模型 | 以三维天球大气模型为基础,用Monte Carlo法模拟太阳光在大气中的传输过程,实现对混浊大气偏振全局分布的建模 | 王子谦等[ |
类别 | 年份 | 相机类型 | 融合策略 | 模型描述 | 载体 | 位置定位精度 | 来源文献 |
---|---|---|---|---|---|---|---|
偏振罗盘输出 | 2016 | 双目 | EKF | MEMS IMU遵循惯性解算;偏振罗盘直接输出载体偏航信息;单目VO提供连续帧位姿观测 | 车辆 | 3D RMSE为4.3m(道路环境) | Kong等[ |
2016 | 双目 | IEKF+拓扑图 节点递推 | 偏振定向辅助远/近特征点的双目视觉/微惯性组合IEKF;以图节点导航信息扩展&场景识别实现图节点递推 | 车辆 | 3D RMSE<12.0m(道路环境) | Xian等[ | |
2017 | 单目 | EKF | 偏振罗盘集成至VINS;IMU遵循惯性解算,单目VO提供相对位姿;基于IMU输出的姿态,偏振提供平台航向 | 车辆 | RMSE为25.9m(行驶距离的1.03%) | Wang等[ | |
偏振成像观测 | 2018 | 单目 | Kalman滤波 | IMU遵循惯性解算;偏振光传感器提供定向约束;单目相机提供几何地图,并为整机提供位置约束 | 车辆 | RMSE为2.04m(行驶距离的0.01%) | Fan等[ |
2021 | 单目 | AKF | 像素化偏振视觉与VINS集成;利用偏振成像和VINS水平姿态角进行偏振定向解算 | 无人车 | RMSE为0.64m (校园环境) | Zhou等[ | |
2022 | 双目 | 图优化 | 将基于Berry模型的偏振观测集成至VINS-Fusion;以偏振角作为图模型节点的新增属性,以航向误差编码约束边 | Bulldog-CX 机器人 | RMSE<0.28m (校园环境) | Xia等[ |
表2 辅以天空偏振光的视觉/惯性组合解决方案
Table 2 Polarized skylight-aided visual-inertial solutions
类别 | 年份 | 相机类型 | 融合策略 | 模型描述 | 载体 | 位置定位精度 | 来源文献 |
---|---|---|---|---|---|---|---|
偏振罗盘输出 | 2016 | 双目 | EKF | MEMS IMU遵循惯性解算;偏振罗盘直接输出载体偏航信息;单目VO提供连续帧位姿观测 | 车辆 | 3D RMSE为4.3m(道路环境) | Kong等[ |
2016 | 双目 | IEKF+拓扑图 节点递推 | 偏振定向辅助远/近特征点的双目视觉/微惯性组合IEKF;以图节点导航信息扩展&场景识别实现图节点递推 | 车辆 | 3D RMSE<12.0m(道路环境) | Xian等[ | |
2017 | 单目 | EKF | 偏振罗盘集成至VINS;IMU遵循惯性解算,单目VO提供相对位姿;基于IMU输出的姿态,偏振提供平台航向 | 车辆 | RMSE为25.9m(行驶距离的1.03%) | Wang等[ | |
偏振成像观测 | 2018 | 单目 | Kalman滤波 | IMU遵循惯性解算;偏振光传感器提供定向约束;单目相机提供几何地图,并为整机提供位置约束 | 车辆 | RMSE为2.04m(行驶距离的0.01%) | Fan等[ |
2021 | 单目 | AKF | 像素化偏振视觉与VINS集成;利用偏振成像和VINS水平姿态角进行偏振定向解算 | 无人车 | RMSE为0.64m (校园环境) | Zhou等[ | |
2022 | 双目 | 图优化 | 将基于Berry模型的偏振观测集成至VINS-Fusion;以偏振角作为图模型节点的新增属性,以航向误差编码约束边 | Bulldog-CX 机器人 | RMSE<0.28m (校园环境) | Xia等[ |
类别 | 年份 | 传感器类型 | 融合策略 | 载体 | 来源文献 |
---|---|---|---|---|---|
2020 | 偏振传感器+激光雷达+轮式里程计 | EKF/UKF/PF | Kobuki机器人 | Du等[ | |
偏振罗盘输出 | 2020 | 偏振传感器+SINS | Kalman滤波 | 水平基座 | Du等[ |
2020 | 偏振传感器+MEMS IMU+GPS | EKF | 四旋翼飞行器 | 褚金奎等[ | |
2021 | 偏振传感器+双目相机 | 图优化 | 车辆 | 褚金奎等[ | |
2020 | 偏振光+INS+光流传感器 | UKF | 六足机器人 | 曾云豪等[ | |
2020 | 偏振光+MEMS IMU | EKF | 车辆 | 范晨等[ | |
偏振成像观测 | 2019 | 偏振光+MEMS IMU+地磁 | Kalman滤波 | 车辆 | He等[ |
2019 | 偏振光+MEMS IMU+GNSS | Kalman滤波 | 车辆 | He等[ | |
2020 | 偏振光+MEMS IMU+地磁+GNSS | Sage-Husa Kalman滤波 | 车辆 | Yuan等[ | |
2022 | 偏振光+SINS+地磁+BDS | 联邦Kalman滤波 | 车辆 | 马伟等[ |
表3 辅以天空偏振光的其他导航解决方案
Table 3 Other navigation solutions aided by polarized skylight
类别 | 年份 | 传感器类型 | 融合策略 | 载体 | 来源文献 |
---|---|---|---|---|---|
2020 | 偏振传感器+激光雷达+轮式里程计 | EKF/UKF/PF | Kobuki机器人 | Du等[ | |
偏振罗盘输出 | 2020 | 偏振传感器+SINS | Kalman滤波 | 水平基座 | Du等[ |
2020 | 偏振传感器+MEMS IMU+GPS | EKF | 四旋翼飞行器 | 褚金奎等[ | |
2021 | 偏振传感器+双目相机 | 图优化 | 车辆 | 褚金奎等[ | |
2020 | 偏振光+INS+光流传感器 | UKF | 六足机器人 | 曾云豪等[ | |
2020 | 偏振光+MEMS IMU | EKF | 车辆 | 范晨等[ | |
偏振成像观测 | 2019 | 偏振光+MEMS IMU+地磁 | Kalman滤波 | 车辆 | He等[ |
2019 | 偏振光+MEMS IMU+GNSS | Kalman滤波 | 车辆 | He等[ | |
2020 | 偏振光+MEMS IMU+地磁+GNSS | Sage-Husa Kalman滤波 | 车辆 | Yuan等[ | |
2022 | 偏振光+SINS+地磁+BDS | 联邦Kalman滤波 | 车辆 | 马伟等[ |
[1] |
doi: 10.1177/027836498600500404 URL |
[2] |
刘全攀, 王正杰, 王寰. 基于双目视觉-惯性导航的轻型无人机导航算法[J]. 兵工学报, 2020, 41(增刊2): 242-248.
|
|
|
[3] |
王金科, 左星星, 赵祥瑞, 等. 多源融合SLAM的现状与挑战[J]. 中国图象图形学报, 2022, 27(2): 368-389.
|
|
|
[4] |
|
[5] |
doi: 10.1002/tee.2018.13.issue-3 URL |
[6] |
常宜峰, 种洋, 柴洪洲, 等. 世界地磁场模型精度评价[J]. 武汉大学学报(信息科学版), 2016, 41(10): 1398-1403.
|
|
|
[7] |
doi: 10.1109/TRO.2021.3075644 URL |
[8] |
|
[9] |
doi: 10.1109/TPAMI.2017.2658577 pmid: 28422651 |
[10] |
|
[11] |
doi: 10.1109/TRO.8860 URL |
[12] |
夏琳琳, 蒙跃, 王策, 等. 基于Retinex理论的稀疏直接法VSLAM三维重建[J]. 中国惯性技术学报, 2021, 29(2): 147-153.
|
|
|
[13] |
|
[14] |
刘忠泽, 陈慧岩, 崔星, 等. 无人平台越野环境下同步定位与地图创建[J]. 兵工学报, 2019, 40(12): 2399-2406.
doi: 10.3969/j.issn.1000-1093.2019.12.002 |
doi: 10.3969/j.issn.1000-1093.2019.12.002 |
|
[15] |
龙霄潇, 程新景, 朱昊, 等. 三维视觉前沿进展[J]. 中国图象图形学报, 2021, 26(6): 1389-1428.
|
|
|
[16] |
|
[17] |
|
[18] |
|
[19] |
doi: 10.1177/0278364914554813 URL |
[20] |
doi: 10.1109/TRO.8860 URL |
[21] |
|
[22] |
|
[23] |
曹力科, 肖晓辉. 基于卷帘快门RGB-D相机的视觉惯性SLAM方法[J]. 机器人, 2021, 43(2): 193-202.
doi: 10.13973/j.cnki.robot.200245 |
doi: 10.13973/j.cnki.robot.200245 |
|
[24] |
doi: 10.1016/j.isprsjprs.2021.06.009 URL |
[25] |
|
[26] |
doi: 10.1109/LSP.2016. URL |
[27] |
|
[28] |
|
[29] |
doi: 10.3389/frobt.2020.00068 URL |
[30] |
|
[31] |
|
[32] |
doi: 10.1109/LSP.2016. URL |
[33] |
|
[34] |
doi: 10.1109/TRO.2021.3133730 URL |
[35] |
|
[36] |
doi: 10.3390/rs11060610 URL |
[37] |
doi: 10.3390/s20164386 URL |
[38] |
|
[39] |
doi: 10.1007/s10514-019-09874-z |
[40] |
|
[41] |
彭富清. 海洋重力辅助导航方法及应用[D]. 郑州: 战略支援部队信息工程大学, 2009.
|
|
|
[42] |
褚金奎, 张然, 王志文, 等. 仿生偏振光导航传感器研究进展[J]. 科学通报, 2016, 61(23): 2568-2577.
|
|
|
[43] |
高隽, 范之国. 仿生偏振光导航方法[M]. 北京: 科学出版社, 2014.
|
|
|
[44] |
褚金奎, 张钟元, 张然, 等. 仿生偏振探测技术及导航传感器应用[J]. 计测技术, 2021, 41(5): 23-33.
|
|
|
[45] |
doi: 10.1364/OE.26.028589 pmid: 30470033 |
[46] |
doi: 10.1007/BF02174424 pmid: 18126348 |
[47] |
doi: 10.1038/331435a0 |
[48] |
|
[49] |
|
[50] |
doi: 10.1016/j.cub.2003.12.034 URL |
[51] |
蔡宇. 微阵列式光罗盘误差建模与补偿[D]. 长沙: 国防科技大学, 2018.
|
|
|
[52] |
doi: 10.1177/105971239700600104 URL |
[53] |
|
[54] |
doi: 10.1109/JSEN.2010.2078806 URL |
[55] |
|
[56] |
|
[57] |
褚金奎, 关传泷, 刘泽, 等. 一种高度集成化的仿生偏振导航传感器[J]. 微纳电子技术, 2020, 57(3): 193-197.
|
|
|
[58] |
doi: 10.1109/JSEN.2016.2533628 URL |
[59] |
韩国良, 胡小平, 何晓峰, 等. 基于像素化偏振芯片的仿生偏振光罗盘技术[J]. 导航定位与授时, 2020, 7(4): 19-25.
|
|
|
[60] |
白杨, 赵开春, 尤政. 分焦平面偏振图像传感器偏振主轴方向的标定[J]. 光学精密工程, 2022, 30(1): 31-37.
|
doi: 10.37188/OPE.20223001.0031 URL |
|
[61] |
韩勇, 赵开春, 尤政. 快速旋转式偏振成像探测装置的设计[J]. 光学精密工程, 2018, 26(10): 2345-2354.
|
doi: 10.3788/OPE. URL |
|
[62] |
doi: 10.1080/01431161.2020.1743529 URL |
[63] |
杨中光. 基于自然偏振特性的卫星自主导航技术研究[D]. 西安: 西北工业大学, 2018.
|
|
|
[64] |
钟振兴, 马晓波, 安巍. 基于地基云图与气象数据的辐照度轻量化预测[J]. 东北电力大学学报, 2021, 41(1): 24-30.
|
|
|
[65] |
doi: 10.1364/AO.34.002765 pmid: 21052423 |
[66] |
doi: 10.1088/1367-2630/6/1/197 URL |
[67] |
吴良海, 张骏, 范之国, 等. 多次散射因素影响下天空偏振光模式的解析模型[J]. 物理学报, 2014, 63(11): 218-225.
|
|
|
[68] |
崔岩, 陈小龙, 褚金奎, 等. 晴朗天气下满月偏振模式的研究[J]. 光学学报, 2014, 34(10): 147-155.
|
|
|
[69] |
褚金奎, 田连标, 成昊远, 等. 天空光主导的波浪水面下偏振分布模型仿真[J]. 光学学报, 2020, 40(20): 18-25.
|
|
|
[70] |
汪先球. 大气偏振模式的显著特征分析与建模方法研究[D]. 合肥: 合肥工业大学, 2021.
|
|
|
[71] |
doi: 10.1364/AO.7.001519 pmid: 20068833 |
[72] |
doi: 10.1088/1367-2630/6/1/162 URL |
[73] |
|
[74] |
王威, 褚金奎, 崔岩, 等. 基于矢量辐射传输的大气偏振建模[J]. 中国激光, 2013, 40(5): 220-226.
|
|
|
[75] |
王子谦, 张旭东, 金海红, 等. 基于Monte Carlo方法的混浊大气偏振模式全天域建模[J]. 中国激光, 2014, 41(10): 219-227.
|
|
|
[76] |
蒋睿, 王霞, 左一凡, 等. 基于局部大气偏振特性的仿生导航方法[J]. 航空学报, 2020, 30(增刊2): 724293.
|
|
|
[77] |
田柳, 高隽, 范之国, 等. 基于大气偏振模式分布规律的导航方向角计算方法[J]. 电子学报, 2012, 40(1): 141-146.
doi: 10.3969/j.issn.0372-2112.2012.01.023 |
doi: 10.3969/j.issn.0372-2112.2012.01.023 |
|
[78] |
崔岩, 周鑫昌, 刘亚飞, 等. 基于Hough变换的太阳子午线提取方法[J]. 光学学报, 2020, 40(17): 14-20.
|
|
|
[79] |
任建斌. 仿生偏振光导航中信息获取及姿态解算方法研究[D]. 太原: 中北大学, 2015.
|
|
|
[80] |
赵成帅, 吴新冬, 赵东花, 等. 一种基于改进太阳子午线拟合方法的仿生偏振光定向系统[J]. 导航定位与授时, 2021, 8(4): 68-74.
|
|
|
[81] |
褚金奎, 关乐, 李世奇, 等. 大气偏振模式图分布及仿生偏振导航技术[J]. 遥感学报, 2018, 22(6): 969-679.
|
|
|
[82] |
doi: 10.1108/IR-03-2016-0103 URL |
[83] |
|
[84] |
doi: 10.1109/JSEN.2017.2725938 URL |
[85] |
doi: 10.1109/JSEN.2017.2786294 URL |
[86] |
doi: 10.1109/JSEN.2021.3066844 URL |
[87] |
doi: 10.1088/1361-6501/ac4637 |
[88] |
李昊天, 张宇. 改进的D-S证据推理地图匹配算法[J]. 东北电力大学学报, 2020, 40(1): 90-96.
|
|
|
[89] |
张少将. 基于多传感器信息融合的智能车定位导航系统研究[D]. 哈尔滨: 哈尔滨工业大学, 2020.
|
|
|
[90] |
张子茜, 熊再立, 张彪, 等. 基于超分辨率重建技术的遥感图像小目标检测[J]. 东北电力大学学报, 2022, 42(2): 33-40.
|
|
|
[91] |
doi: 10.1049/rsn2.v14.12 URL |
[92] |
doi: 10.1109/JSEN.7361 URL |
[93] |
褚金奎, 陈建华, 李金山, 等. 一种偏振光/双目视觉仿生组合导航方法[J]. 光子学报, 2021, 50(5): 192-201.
|
doi: 10.3788/gzxb URL |
|
[94] |
褚金奎, 武进, 李金山, 等. 偏振光传感器在四旋翼飞行器中的应用[J]. 电子学报, 2020, 48(1): 198-203.
doi: 10.3969/j.issn.0372-2112.2020.01.024 |
|
|
[95] |
曾云豪, 杜涛, 星艳. 基于惯性/偏振光/光流的六足步行机器人自主导航方法研究[J]. 导航定位与授时, 2020, 7(6): 102-108.
|
|
|
[96] |
范晨, 何晓峰, 范颖, 等. 基于微惯性/偏振视觉的组合定向方法[J]. 中国惯性技术学报, 2020, 28(2): 231-236.
|
|
|
[97] |
doi: 10.1109/Access.6287639 URL |
[98] |
|
[99] |
|
[100] |
马伟, 李沅, 康健, 等. 基于联邦滤波的偏振光/SINS/BDS/地磁组合导航算法[J]. 传感器与微系统, 2022, 41(2): 136-139.
|
|
[1] | 朱建良, 王立雅, 薄煜明. 行人GNSS/PDR组合导航优化估计方法[J]. 兵工学报, 2023, 44(10): 3137-3145. |
[2] | 刘阳, 付强, 张肃, 战俊彤, 史浩东, 李英超, 刘艺, 娄岩, 余益欣. 大气-海雾多层环境下的天空偏振模式[J]. 兵工学报, 2022, 43(5): 1201-1207. |
[3] | 倪龙强1,2,高社生1,薛丽1. 低检测概率条件下的多传感器机动多目标跟踪方法研究[J]. 兵工学报, 2013, 34(1): 87-92. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||