Skip to content

Pano 3drecon

本文档为全景相机做三维重建/四维重建的相关论文整理。
范围:约 2023–2026,CVPR / ICCV / ECCV / AAAI / NeurIPS / ICLR / ICRA / 3DV / TPAMI / ICML / IROS(及紧密相关的 RA-L)+ arXiv 2025–2026
重点:动态场景 / 4D;其次为静态新视角合成、深度/立体、SLAM、feed-forward 几何基础模型。

总览判断
- 真·全景动态重建(从真实 360 视频重建可漫游 4D)仍极少:观测驱动代表仍是 OmniLocalRF (CVPR’24)(去动态);生成式有 4K4DGen / HoloTime / TiP4GEN4DGS360 (arXiv’26) 是透视视频上的“360° 物体环视 4D”,输入不是 ERP 全景相机
- 2026 年主线转向 feed-forward 全景几何:PanoVGGT / VGGT-360 / Depth Any Panoramas / CylinderSplat / ODGS-SLAM / PFGS360;数据侧 Holo360D (ECCV’26)、PanoCity、AirSim360、ORBIT 明显补强。
- 透视域 4D(4D-GS、MonST3R 等)很热,但多数未原生支持 ERP/鱼眼;全景 4D 多走“生成视频 + lift”而非观测驱动重建。

一、动态场景 / 四维(优先)

1.1 观测驱动:全景视频 → 场景重建(含动态处理)

  • OmniLocalRFCVPR 2024
    输入 casual 360° 动态视频;LocalRF + 全景双向射线优化;多分辨率 neural feature planes 预测 motion mask,去除并 inpaint 动态物体(含拍摄者),输出静态可漫游场景;可联合估 pose。长视频、大视角遮挡是核心难点。
    code
  • Scene4UCVPR 2025
    单张全景 → 开放词表分割 + LLM 分层 → diffusion 分层修复遮挡 → 分层 3DGS。强调去掉前景/动态层、全局纹理一致、可自由漫游。偏“去动态后的沉浸式静态场景”,非时空 4D 跟踪。

1.2 生成式:全景 → 4D(动画 + lifting,非真实动态观测重建)

  • 4K4DGenICLR 2025
    单张全景 → Panoramic Denoiser 生成 360° 动态视频 → Dynamic Panoramic Lifting 到 4D Gaussians;首次宣称 4K(4096×2048)全景 4D。任务是 Panorama-to-4D generation
  • HoloTime — arXiv 2025(跟进类)
    360World 数据集 + Panoramic Animator(图生视频)+ 时空深度对齐 + 4D-GS。同属生成式全景 4D。
  • TiP4GEN — arXiv 2025
    Text → 动态全景 4D:双分支(全景+透视)视频生成 + 度量深度对齐的 3DGS 重建。

1.3 环视/全向动态(注意:多为透视输入,非 ERP 相机)

  • 4DGS360 — arXiv 2026(2603.21618
    单目透视视频 → 物体完整 360° 环视 4D GS;AnchorTAP3D(2D track 锚定 3D 轨迹)缓解遮挡区深度歧义;新基准 iPhone360(测试视角与训练差可达 135°)。不是全景相机输入,但对“大视角动态几何”有参考价值。

1.4 空白与可做方向(结合本仓库兴趣)

方向 现状
真实 360 视频上的 dense 4D + correspondence 几乎空;透视域有 St4RTrack / CUT3R / Flow4R
全景 feed-forward 动态几何(类 MonST3R/POMATO 的 ERP 版) 2026 仍未见顶会成熟方案;PanoVGGT / CylinderSplat 偏静态
驾驶/室内全景动态 + metric scale Helvipad、Holo360D、PanoCity 补数据,但动态标注仍弱

相关透视动态工作见 4drecon_tracking.md,可迁移球形 PE / ERP 光栅化。

〇、2026 会议 + 2025–2026 arXiv(补遗,优先读)

0.1 CVPR 2026(全景 3D/深度/SLAM 相关)

  • PanoVGGTCVPR 2026
    无序多张 ERP → 单次前向联合预测 pose / depth / 点云;球感 PE + SO(3) 三轴旋转增强 + stochastic anchoring;发布 PanoCity。见下文第五节详细笔记。
  • VGGT-360CVPR 2026
    训练无关全景深度:不确定度引导自适应切透视片 → VGGT 多视图 3D → correlation-weighted 校正 → 反投影回 ERP。见第五节。
  • Depth Any Panoramas (DAP)CVPR 2026
    全景 metric depth 基础模型;DINOv3-Large;range mask head + 几何一致性优化;大规模伪标签管线;评测 Stanford2D3D / Matterport3D / Deep360 等。Insta360 Research。
    project
  • PFGS360CVPR 2026
    无 pose 全景视频 → omnidirectional 3DGS;球一致 2D–3D 对应估位姿 + depth-inlier densification。
    code
  • ODGS-SLAMCVPR 2026
    首个以 omnidirectional 3DGS 统一跟踪+建图的全景 SLAM(RGB/RGBD);ERP 投影闭式梯度;图分析删关键帧降内存;自建室内外评测集。
    code
  • ORBITCVPR 2026
    野外 360° 视频 SfM 基准(Google/相关团队);评测 wild 条件下结构恢复。
  • Pano3DComposerCVPR 2026
    单张全景 → 组合式 3D 场景生成;Alignment-VGGT 预测物体→世界变换;~20s/场景。
  • Pantheon360CVPR 2026
    稀疏 360 输入 → 显式 3D Cache(π3/VGGT)条件化 360 视频扩散,做数字孪生/可控轨迹;偏生成,几何 scaffold 可参考。
  • AirSim360CVPR 2026
    无人机视角全景仿真平台(深度/几何标注友好,常与 DAP 等配合)。
  • Pano360CVPR 2026
    多张透视 → 几何一致全景拼接;VGGT 式 3D 对齐;新真实大规模全景数据集。

0.2 ECCV / ICLR / IROS 2025–2026

  • Holo360DECCV 2026
    真实大规模连续轨迹全景 3D 数据集:109,495 张全景 + LiDAR mesh/点云/深度/位姿;室内外;用于微调 Pi3 等 feed-forward。
    HF · code
  • CylinderSplatICLR 2026
    圆柱 Triplane + 双分支(像素重建 / 体积补全)feed-forward 全景 3DGS;可变视角数(单张→多张);相对 Splatter-360 / PanSplat 更强遮挡补全。
    code
  • DFI-OmniStereoIROS 2025
    预训练相对深度基础模型注入迭代式 OSM;Helvipad 上 disparity MAE 约降 16%。

0.3 arXiv 2025–2026(尚未确认会议或预印)

工作 时间 要点
TPGS / Transition Plane 2025.04 cubemap 面间加 Transition Plane;intra→inter face 优化;单张/多张全景 3DGS
360-GeoGS 2026.01 feed-forward 360 3DGS + Depth-Normal 正则,强化几何一致性
Spherical-GOF 2026.03 单位球上 ray-Gaussian(GOF);深度重投影误差大降,利于 mesh
Underwater360 2026.05 水下全景物理介质建模 + 球空间 omni-GS;新水下 360 基准
FastPano3D 2026.06 单张室内全景秒级 feed-forward GS;宣称相对 Pano2Room ~156×
HALO-SLAM 2026.08 冻结全景几何基础模型读重力 + attention 回环;多真实全景基准 ATE 优
PanoWorld 2026.05 整屋 VR tour:楼层平面 + 全景 LRM → 渐进 3DGS 缓存(生成向)

ICCV / AAAI / NeurIPS / ICML / ICRA / 3DV 2026:截至整理时,除 CVPR’26 / ECCV’26 / ICLR’26 / IROS’25 外,其余 2026 届次上“全景相机原生 3D/4D”公开清单仍稀疏;ICCV’25 已有 Seam360GS、MDP-Omni(见后文);后续可继续扫 openaccess / OpenReview。

二、静态 / 慢动场景三维重建与新视角合成

2.1 NeRF 系(全景 / 球坐标)

  • EgoNeRF(Balanced Spherical Grid for Egocentric View Synthesis)— CVPR 2023
    短时 egocentric 360 视频;平衡球网格 + 指数径向划分 + 无穷远环境图;适配无界第一人称场景。数据集:OmniBlender / Ricoh360。
  • PanoGRFNeurIPS 2023
    宽基线全景可泛化球形 radiance field;球投影聚合几何/外观;360° 单目深度先验引导 MVS cost volume。对比 OmniSyn / IBRNet / NeuRay。
  • Pano-NeRFAAAI 2024
    稀疏 LDR 全景 → irradiance fields:几何恢复 + HDR 新视角;副产品:空间变化光照估计。
  • PERFTPAMI 2024
    单张全景 → collaborative RGBD inpainting + progressive inpainting-and-erasing → panoramic NeRF,支持复杂场景 3D roaming。
  • 360FusionNeRFIROS 2023
    单张 360 RGB-D;几何监督 + CLIP 语义一致性;Structured3D / Matterport3D / Replica360。
  • OmniSDFCVPR 2024
    小圆轨迹全景视频 → 球 binoctree 上的 SDF;小基线、大深度范围;自适应细分。

2.2 3D Gaussian Splatting 系(全景光栅化 / 可泛化)

  • ODGSNeurIPS 2024
    全景专用光栅化:高斯投到单位球切平面再映到 ERP;CUDA;相对 NeRF 约 100× 加速。多数据集(OmniBlender、Ricoh360、OmniPhotos、360Roam 等)。
  • SC-OmniGSICLR 2025
    自标定全景 3DGS:联合优化 Gaussian、球相机外参、可微畸变模型;宽基线 / 无 pose prior 可用;利于下游全景 GS-SLAM。
  • OmniGS — WACV 2025(相关)
    球相机模型导数 → 直接 ERP 可微 splatting,无需 cubemap / 切平面近似。
  • 360-GS3DV 2025
    Layout-guided 室内漫游全景 GS;依赖房间布局先验,室外泛化受限。
  • Splatter-360CVPR 2025
    宽基线全景 可泛化 3DGS;球域 cost volume(spherical sweep)+ bi-projection(ERP+cubemap)encoder;HM3D / Replica。强于 PanoGRF / MVSplat 等。
  • OmniSplatCVPR 2025
    训练无关 feed-forward:Yin-Yang 网格拆球,复用透视域 feed-forward 3DGS prior;Yin-Yang rasterizer 减轻极区伪影。
  • PanSplatCVPR 2025
    宽基线全景 → feed-forward GS,目标 4K 新视角;解决极区高斯冗余与高分显存。
  • Seam360GSICCV 2025
    真实双鱼眼:联合标定镜头间隙与角畸变 + 3DGS,无缝 360° 渲染。
  • Omni3DNeurIPS 2025
    单张图 omnidirectional 重建:diffusion 新视角 + MASt3R 几何先验,Pose-View Optimization 迭代校正,再 3DGS。偏“全向渲染能力”,输入未必是 ERP。

三、深度 / 立体 / 几何感知

3.1 单目 360° 深度

  • HRDFuseCVPR 2023
    ERP 全局上下文 + 切平面局部结构;SFA + 协同深度分布分类。

3.2 多鱼眼 / Omnidirectional Stereo Matching (OSM)

  • OmniVidarCVPR 2023
    四鱼眼 → 极线校正成双目问题;无 3D CNN,高分辨率更快。
  • RomniStereoRA-L 2024(ICRA 相关轨)
    RAFT 式迭代更新移植到 OSM;opposite adaptive weighting + spherical sweeping;四正交鱼眼 → 虚拟参考视点全景深度。
  • MDP-OmniICCV 2025
    无参多峰深度先验采样,改善边界过平滑;方位角多视角 volume fusion。
  • DFI-OmniStereoIROS 2025
    相对深度基础模型特征 → 迭代 OSM;Helvipad SOTA。
  • HelvipadCVPR 2025
    真实 OSM 数据集:上下双 360° + LiDAR,约 40K 帧,室内外拥挤场景;配套 360-IGEV 等基准。

3.3 深度 + 新视角联合

  • MSI-NeRF — WACV 2025(相关)
    四鱼眼 → multi-sphere image cost volume + NeRF;同时做 omni-depth 与 6DoF 合成;可用已有全景深度集训练。

四、SLAM / VO / 稠密建图(全景)

  • 360ORB-SLAM — 2024(arxiv / 期刊类,常被全景 SLAM 引用)
    全景三角化 + 深度补全网络 → 稠密深度进 ORB-SLAM 管线,缓解尺度漂移;自建驾驶全景数据。
  • LF-VIO / LF-VISLAM、PAL-SLAM2 等(大 FoV / 负半平面特征)— 偏机器人期刊(如 T-ASE),做全景前端时可参考。
  • 近期 arXiv:HALO-SLAM(冻结全景几何基础模型做重力/回环)— 未计入正式顶会列表,可跟踪。

五、Feed-forward 几何基础模型(全景版)

  • PanoVGGTCVPR 2026

    全景相机版本 VGGT,上海科大。静态场景,离线。

    构造了新的数据集 PanoCity: 超过 120000 张带位姿和深度标注的全景图。虚拟数据集、室外场景、主要静态场景、不同天气条件。

    方法:

    1. DINOv2 编码。和 VGGT 类似的交替注意力模块。

    2. 从标准的 2D 网格编码改为球感位置编码 (Spherical-aware PE)

    3. 数据增强改用了 SO(3) 旋转增强,并随机定 target frame(stochastic anchoring)。

    8 张 A100 训练 10 天。用的数据集:PanoCity、Matterport3D、Stanford2D3D 和 Structured3D。
    code · weights

  • VGGT-360CVPR 2026

    训练无关零样本全景深度:不确定度引导切透视片 → VGGT 多视图重建 → structure-saliency attention → correlation-weighted 3D 校正 → 全景反投影。
    code

  • Depth Any PanoramasCVPR 2026
    监督式全景 metric depth 基础模型(与 VGGT-360 路线互补:训大模型 vs 训无关)。

六、按会议速查(2023–2026,不完全表)

会议 代表工作
CVPR’23 EgoNeRF;HRDFuse;OmniVidar
CVPR’24 OmniLocalRF(动态);OmniSDF
CVPR’25 Scene4U;Splatter-360;OmniSplat;PanSplat;Helvipad
CVPR’26 PanoVGGT;VGGT-360;DAP;PFGS360;ODGS-SLAM;ORBIT;Pano3DComposer;Pantheon360;AirSim360
ICCV’25 Seam360GS;MDP-Omni
ECCV’26 Holo360D(数据集+基准)
ECCV’24–25 核心全景 3D/4D 仍偏少
NeurIPS’23 PanoGRF
NeurIPS’24 ODGS
NeurIPS’25 Omni3D
ICLR’25 SC-OmniGS;4K4DGen(全景 4D 生成)
ICLR’26 CylinderSplat
AAAI’24 Pano-NeRF
TPAMI’24 PERF
ICRA’24 Omnidirectional Dense SLAM(双鱼眼)
IROS’23 360FusionNeRF
IROS’25 DFI-OmniStereo
3DV’25 360-GS
RA-L’24 RomniStereo
ICML 近三年几乎未见“全景相机原生 3D/4D”主力论文
arXiv’25–26 TPGS;360-GeoGS;Spherical-GOF;4DGS360;Underwater360;FastPano3D;HALO-SLAM;TiP4GEN;HoloTime

说明:AAAI / NeurIPS / ICML / ICRA / 3DV 2026 届次上,公开可确认的“全景相机原生 3D/4D”仍少;持续扫 OpenReview / openaccess。

七、全景(ERP)数据集整理

范围:近几年常用 / 新发布的 ERP 全景数据集(含“鱼眼→ERP 参考全景”的 OSM 数据)。
维度:静态/动态合成/真实深度真值相机位姿
符号:✓ 有官方/可靠 GT;△ 部分/弱(仅位置、仅立体外参、SfM 伪 GT、稀疏投影等);✗ 无或未发布。
动态分两类:① 相机运动(连续轨迹 VO/SLAM);② 场景动态(行人/车/活动物体)。二者可同时存在。

7.0 优先:动态场景 + 相机轨迹位姿(新补,2026-08)

「场景动态 + 真值轨迹位姿 + dense depth」的真实 ERP 数据仍然极稀缺。多数是:合成真值全 / 真实仅 SfM 伪位姿 / 有深度但无轨迹 / 有轨迹但场景偏静。

数据集 相机运动 场景动态 合成/真实 深度 GT 轨迹位姿 规模/要点 链接
pano_point_odyssey ✓ 物体/人 合成 本仓库;PointOdyssey 管线全景版 research_diary
TartanAir V2(Panorama) ✓ 挑战轨 △ 环境可动 合成 ✓ 精确 可渲染 ERP+depth+pose;COLMAP 有 5k 全景 SfM 子集 tartanair.org · SfM bench
360VO(合成) △ 城市场景 合成 △ 可渲染 ✓ dense ICRA’22;10 序列×~2k 帧;1920×960;人/车/UAV 运动风格 page
Omni360-Human(AirSim360) ✓ 行人 NPC 合成 ✓(平台可出) ✓ 相机 6-DoF ~10 万帧;行人 3D keypoints;CVPR’26 AirSim360
OmniHorizon ✓ 路径 ✓ 行人/车/光照 合成 ✓ depth+normal △ 路径渲染位姿 2.4 万户外 top-bottom 立体 ERP site
H-OmniStereo 合成 ✓(宣称) △ rig/轨迹 双全景;暂未开源 GitHub
OmniLocalRF-Synth ✓ 漂浮动态物 合成 ✗/弱 ✓(评 ATE) 3 条合成 360 视频;配合方法估位姿 OmniLocalRF
360DVO Dataset ✓ Hard 子集含遮挡/拥挤 真实 △ Metashape 伪 GT RA-L’26;20 序列×~1k;3840×1920;Easy/Hard 360dvo
Helvipad ✓ 视频序列 ✓ 人群/交通 真实 ✓ LiDAR→ERP 立体外参✓,绝对轨迹弱/未作主 GT ~4 万帧;上下双 Theta site
PanoHK360 ✓ 驾驶连续轨 △ 城市场景 真实 ✓ LiDAR ✓ 6-DoF 8K ERP;港城;Ladybug+LiDAR HF
OmniLocalRF-Real ✓ casual ✓ 行人/拍摄者 真实 ✗(方法自估) 6 户外 Insta360 场景;无官方轨迹 GT 同上 OmniLocalRF
360+x ✗/弱(多固定机位) ✓ 活动 真实 动作标签丰富;无几何 site
360VOT / 360VOTS ✓ 目标跟踪 真实 目标框/FoV;非 3D 几何集 360VOT
ORBIT 真实 △ SfM 评测 CVPR’26;野外 360 视频 SfM CVPR’26
PanoGeo(PanoWorld) ✓ 视频 真+合混合 △ 伪深度管线 △ 轨迹(光流补偿) 自采 4K + 公开全景 + Habitat;生成向 arXiv

相机运动为主、场景偏静,但轨迹+深度齐全(常被当「动态相机」训练用):

数据集 合成/真实 深度 轨迹位姿 备注
Matrix-Pano 合成 116k 静态场景全景视频 + 探索轨迹;UE5;生成/重建
Holo360D 真实 连续扫;场景基本静;当前最大真实 ERP+depth+pose
PanoCity 合成 城市连续轨;静态为主
AirSim360 Omni360-Scene / WayPoint 合成 航拍 ERP;WayPoint 给物理一致 UAV 轨迹
CM-EVS 合+真资产渲染 ✓ range depth 稀疏覆盖 ERP(非稠密视频);Blender/HM3D/ScanNet++/TartanGround/OB3D
360Loc 真实 ✓(mesh 射线) ✓ 6-DoF CVPR’24 定位;LiDAR+360 建图;多场景序列

7.1 总表(静态+动态合集,含既有条目)

数据集 年份/出处 静/动 合成/真实 深度 GT 位姿 GT 规模/场景要点 链接
Holo360D ECCV 2026 静(连续扫) 真实 ✓ LiDAR mesh/点云深度 ✓ 6-DoF ~10.9 万 ERP;75 场景;室内+室外;连续轨迹 HF
PanoCity CVPR 2026 静(连续轨) 合成 ✓ dense ✓ 6-DoF(pinhole+pano) ~12.0 万 ERP;京/济/甬城市场景 HF
Matrix-Pano 2025 Matrix-3D 静景+相机运动视频 合成 ✓ 轨迹 116k 全景视频序列;1024×2048;文本 site
TartanAir V2 Panorama AirLab 相机挑战运动 合成 可 ERP;SfM bench 5k/100 scenes tartanair.org
AirSim360 / Omni360-X CVPR 2026 静景 / Human 动态 / 轨迹 合成 Scene~61k;Human~100k;WayPoint>100k site
CM-EVS arXiv 2026 静(稀疏多视) 合为主 36k+ 室内 curated ERP;户外 schema 兼容 GitHub
Helvipad CVPR 2025 动(人群/交通) 真实 ✓ LiDAR→ERP(+补全) △ 立体外参✓,绝对轨迹弱 ~4 万帧;上下双 Theta site
PanoHK360 2025–26 HF 驾驶连续轨 真实 ✓ LiDAR metric ✓ 6-DoF 8K ERP;港城 HF
360DVO Dataset RA-L 2026 (相机+Hard 场景) 真实 △ SfM 伪 GT 20×~1k;3840×1920 360dvo
360Loc CVPR 2024 序列定位 真实 跨设备 query;LiDAR+360 page
360VO(合成) ICRA 2022 相机运动 合成 10 城市场景序列 page
Matterport3D(ERP) 2017 真实 ✓(完整度有限) ~1.08 万;离散站位 site
Stanford 2D-3D-S 2017 真实 ~1.3k ERP;室内 GitHub
Structured3D ECCV 2020 合成 △ 多仅 camera_xyz 3.5k 户型 GitHub
Pano3D(GibsonV2) OmniCV@CVPR21 合成(扫描渲染) △/✓ 深度 benchmark site
OmniBlender CVPR 2023 静(小圆轨) 合成 EgoNeRF;11 场景 data
Ricoh360 CVPR 2023 静(小圆轨) 真实 △ SfM Theta V 同上
OmniPhotos SA 2020 静(圆轨) 真实 △ proxy mesh △ SfM Insta360 Bath
Deep360 ECCV 2022 静/慢动 合成 ✓ depth+disp △/✓ 多视 OSM;污损版 MODE
OmniHorizon 2022–23 含动态元素 合成 2.4 万户外 site
OmniStereo 系 ICCV/ICRA 静~慢动 合成 △ rig 外参 四鱼眼+ERP depth SNU
360Roam 真实 △ SfM 分发受限 page
OmniScenes PICCOLO 静/变化 真实 △ 点云 室内定位;场景变化 PICCOLO
360+x CVPR 2024 (活动) 真实 无 3D GT site
ORBIT CVPR 2026 动(相机) 真实 △ SfM 野外 SfM CVPR’26
OmniLocalRF(配套) CVPR 2024 动视频 真+合 合✓ / 真✗ NVS 去动态 code
SUN360 2012 真实 无几何 Princeton
H-OmniStereo 合成 ✓(宣称) 未开源 GitHub
pano_point_odyssey 自研 合成 训练用 research_diary
Panorama_498 社区 静为主 混合 标注不统一 GitHub
360VOT(S) 动(目标) 真实 跟踪框,非几何 360VOT

非原生 ERP / 弱相关(对比用):
- KITTI-360:驾驶动、pose+LiDAR;透视+鱼眼,非标准拼接 ERP。
- TartanGround:六向立体覆盖 360°,原生多 pinhole,可拼 ERP;pose+depth✓。
- PALVIO:环带 PAL(非完整球面 ERP)+ mocap 位姿。
- iPhone360:透视环视动态,非 ERP。

7.2 按维度速查

同时 depth ✓ + 轨迹 pose ✓(重建/训练首选)
Holo360D,PanoCity,Matrix-Pano,TartanAir V2 Pano,AirSim360(Scene/Human),PanoHK360,360Loc,CM-EVS,OmniBlender,Deep360(多视),pano_point_odyssey,360VO(合成,depth 视导出)。

动态(场景)+ 轨迹 pose(稀缺)
- 合成真值全:pano_point_odyssey,Omni360-Human,OmniHorizon,OmniLocalRF-Synth,H-OmniStereo(未开源)。
- 真实:360DVO(伪位姿、无 depth),Helvipad(有 depth、绝对轨迹弱),PanoHK360(驾驶,场景动态有限)。

有 depth、位姿弱/仅标定
Helvipad,Structured3D(xyz),OmniStereo 系,Pano3D。

有轨迹 pose、无 dense depth
360DVO(伪 GT),Ricoh360,OmniPhotos,360Roam,ORBIT,OmniLocalRF-Real。

连续轨迹
Holo360D,PanoCity,Matrix-Pano,PanoHK360,360VO,360DVO,TartanAir V2,AirSim360,Helvipad,ORBIT;Matterport3D / Stanford / CM-EVS 偏离散/稀疏站位。

7.3 简注(常用集 + 本次新增)

  • Holo360D / PanoCity / Matrix-Pano / TartanAir V2 Pano:轨迹+深度齐全;前三者场景偏静,TartanAir/360VO 更适合「相机大幅运动」。
  • 360DVO:目前较完整的真实 360 VO 基准(含 Hard 动态遮挡),但位姿是 SfM 伪 GT、无 depth——适合评 VO,不适合有监督几何。
  • Helvipad:真实 OSM + 场景动态 + LiDAR depth;缺的是官方绝对轨迹。
  • Omni360-Human:合成「场景动态 + 相机位姿」少见组合;行人 keypoints 利于 4D。
  • pano_point_odyssey:本仓库动态全景几何主训练源。
  • 360+x / 360VOT:动态真实视频丰富, depth/pose,不能直接当几何监督。
  • 实验区曾写「360VO 真实」——原版 360VO 合成集是合成;真实对应看 360DVO Dataset

八、方法方案

实验

训练数据集

  • PanoCity
  • Matterport3D
  • Stanford2D3DS
  • PanoPointOdyssey, 自造,合成,动态,深度+位姿gt
  • 360DVO Dataset, 真实,动态(Hard),位姿△ SfM 伪 GT,无 depth
  • helvipad, 真实,动态,深度gt,绝对轨迹弱
  • OmniStereo, urban和things子集,合成,动态,深度gt
  • 360+x, 真实,动态,相机不动,没有深度gt
  • AirSim360——Omni360_Scene, 室外,合成,静止,深度+位姿gt
  • TartanAir V2 Pano(可选), 合成,挑战轨迹,深度+位姿gt。https://github.com/colmap/colmap/releases/tag/datasets-tartanair-v2-v1
  • Deep360, 合成,室外,自动驾驶,深度gt

评测数据集

  • [PanoCity]

    相机位姿、深度、点云重建

  • [Matterport3D]

    相机位姿、深度、点云重建

  • 2D-3D-S

    相机位姿、深度、室内点云重建。下载链接

    test split 是 area_5b 序列。

  • [Pano3D]

    zero-shot 测深度

  • pano_point_odyssey(见 research_diary):indoor/outdoor,dynamic
  • 360DVO

    有位姿gt

  • Holo360D ?

    室外,真实,连续轨迹,位姿+深度gt