从深度图和图像生成点云数据

mypcl

目的：有时候为了提高记录数据的帧率，会先存储图像和深度图，之后在处理时，将图像转化为点云数据。这样可以节省usb带宽。下面是我搜索的一些，将深度图和图像转为点云的素材：
https://www.mrpt.org/tutorials/programming/miscellaneous/generating_3d_point_clouds_from_rgb_d_observations/
输入：rgb和depth传感器的相对位姿，以及两个传感器对应的相机内参数，rgb和depth图像
输出:有序彩色点云数据
matlab从深度图转化为有序点云源码
http://rgbd-dataset.cs.washington.edu/software.html  
Python代码
https://stackoverflow.com/questions/52319922/how-can-i-convert-rgb-depth-image-to-point-cloud
相机模型参考
https://github.com/IntelRealSense/librealsense/wiki/Projection-in-RealSense-SDK-2.0
mrpt库的c++代码实现http://mrpt.sourceforge.net/reference/1.0.0/classmrpt_1_1slam_1_1_c_observation3_d_range_scan.html

mypcl

点云库pcl里面也有相应的一些实现：
类pcl::Grabber的子类，例如pcl::OpenNIGrabber，其他的grabber都是对应不同设备的驱动的封装。这些子类，里面都提供了相应的转换函数，不过定义为protected的函数，不能直接调用。
如以下转换函数：

1. pcl::PointCloud< pcl::PointXYZ >::Ptr         convertToXYZPointCloud (const openni_wrapper::DepthImage::Ptr &depth) const
   
2.         Convert a Depth image to a pcl::PointCloud<pcl::PointXYZ> More...
   
3. 
   
4. template<typename PointT >
   
5. pcl::PointCloud< PointT >::Ptr         convertToXYZRGBPointCloud (const openni_wrapper::Image::Ptr &image, const openni_wrapper::DepthImage::Ptr &depth_image) const
   
6.         Convert a Depth + RGB image pair to a pcl::PointCloud<PointT> More...
   
7. 
   
8. pcl::PointCloud< pcl::PointXYZI >::Ptr         convertToXYZIPointCloud (const openni_wrapper::IRImage::Ptr &image, const openni_wrapper::DepthImage::Ptr &depth_image) const
   
9.         Convert a Depth + Intensity image pair to a pcl::PointCloud<pcl::PointXYZI> More...

复制代码

不同的子类，可能提供的接口有不同，但大致都类似，具体实现也类似。

mypcl

在ros下面，也有相应的转换模块http://wiki.ros.org/image_pipeline
将depth转为xyz点云的源码：
https://github.com/ros-perception/image_pipeline/blob/noetic/depth_image_proc/src/nodelets/point_cloud_xyz.cpp
将rgb图像和depth图像转换为xyzrgb彩色点云的代码：
https://github.com/ros-perception/image_pipeline/blob/noetic/depth_image_proc/src/nodelets/point_cloud_xyzrgb.cpp

mypcl

在kinect 2 sdk中，也提供相应的类CoordinateMapper
https://homes.cs.washington.edu/~edzhang/tutorials/kinect2/kinect3.html
https://pterneas.com/2014/05/06/understanding-kinect-coordinate-mapping/
这个类很方便，但需要在线使用，好像无法离线使用。
A problem about ICooradinateMapper in Kinect v2.0, How to save it and process offline.