关于vehicle-side / infra-side / cooperative 标签定义与加载问题

[yanglei18]

demo视频

如demo视频所示，分别对vehicle-side / infra-side / cooperative (粉色 / 蓝色 / 黄色)采取相同的方式加载并可视化，三种label在直行阶段label方向保持一致，ego车转弯时，infra-side可视化正常而vehicle-side 和cooperative label 方向均不对；
针对该现象有以下问题需求帮助：

1. 以上问题的可能原因有哪些，是否有成熟的工具可在统一的BEV视角下可视化vehicle-side / infra-side / cooperative 三种label；
2. vehicle-side / cooperative 的数据加载与可视化与infra-side有何具体区别；
3. vehicle-side / infra-side / cooperative 三者的坐标系定义情况；

[yangzvv]

vehicle-side和cooperative的label是基于车端LiDAR坐标系的，infrastructure-side的label是基于路端虚拟LiDAR坐标系下的，不同坐标系之间可以通过calib中的文件进行转换，具体可以参考：V2X-Seq感知数据集（SPD）

[yanglei18]

仅copy了一些基本常识？完全没有 回复上面提到的三个问题。。。

[yangzvv]

1. 我们暂时没有可在统一的BEV视觉下的可视化工具，不过我们提供在点云上可视化的工具，您可以按照以下流程在点云上进行可视化并定位问题，或者share一下您的可视化代码：
   a. git clone https://github.com/naurril/SUSTechPOINTS.git
   b. 按照SUSTechPOINTS说明安装相应环境
   c. 使用以下代码将数据转换成可视化数据格式：gen_SUS_label.py
   c. 运行SUSTechPOINTS中的main.py文件，并在http://127.0.0.1:8081/中查看可视化结果
2. vehicle-side/cooperative的数据加载与可视化与infra-side并没有什么区别，但是如果想把infra-side的label在vehicle-side的图像或者点云上进行可视化，需要通过坐标系转换（参考label_i2v.py）把infra-side的label投影到vehicle-side的LiDAR坐标系上
3. V2X-Seq感知数据集（SPD）中有以下关于坐标系定义的介绍，其中协同端的坐标系与车端一致：
   

• 虚拟世界坐标系
  虚拟世界坐标系是以地面某一随机位置为原点，x 轴、y 轴与地面平行，z 轴垂直于地面竖直向上，符合右手坐标系规则。
• LiDAR坐标系
  LiDAR坐标系是以LiDAR传感器的几何中心为原点，x 轴水平向前，y 轴水平向左，z轴竖直向上，符合右手坐标系规则。
• 虚拟LiDAR坐标系
  虚拟LiDAR坐标系是以LiDAR传感器的几何中心为原点，x 轴平行地面向前，y 轴平行地面向左，z 轴垂直于地面竖直向上，符合右手坐标系规则。由于路端LiDAR与地面存在俯仰角，为方便研究，通过路端LiDAR外参矩阵，统一将路端LiDAR坐标系转到虚拟LiDAR坐标系，同时将路端点云全部转到虚拟LiDAR坐标系。
• 相机坐标系
  相机坐标系是以相机光心为原点，x 轴和y 轴与图像平面坐标系的x 轴和y 轴平行，z轴与相机光轴平行向前、与图像平面垂直。通过LiDAR到相机的外参矩阵，可以将点从LiDAR坐标系转到相机坐标系。
• 图像坐标系
  图像坐标是以相机主点（即相机光轴与图像平面的交点，一般位于图像平面中心）为原点，x 轴水平向右，y 轴水平向下的二维坐标系。相机内参可以实现从相机坐标到图像坐标的投影。
• 定位系统
  利用GPS/IMU等定位和惯性系统，可实时获取自动驾驶车辆在全球定位系统的位置以及朝向角。为保护数据安全和研究方便，将真实世界定位系统得到的定位转换到虚拟世界坐标系下。

[yanglei18]

• 非常感谢您的认真作答与回复！
• 另外还有一个小问题，就是您在上面的回答中提到了“定位系统利用GPS/IMU等定位和惯性系统，可实时获取自动驾驶车辆在全球定位系统的位置以及朝向角”，DAR-V2X车路协同数据采集过程中是仅依赖GPS/RTK完成空间配准的，而没有依赖基于高精度地图的点云匹配定位吗？

[zxzzz525]

您好，请问您是怎么在点云中显示标签的，我这里一直搞不定偏航角旋转的问题