雷达信息和图像信息需要统一在同一空间和时间维度中进行数据融合计算，因此需要将毫米波雷达检测目标的坐标系统转换到相机收集的图像坐标系统，同时统一毫米波雷达和机器的采样频率1.雷达雷达可以不断跟踪目标，正确测量目标位置(距离、方向角和俯仰角)。雷达通过日线技术实现目标角度测量，利用角随动系统驱动日线波束跟随目标运动，通过角度传感器获取日线波束角度信息。根据原理，角度测量主要分为振幅法和相位法两种方法。振幅法利用天线收到的回波信号的幅度值进行测量，相位法根据回波信号之间的相位差进行角度测量。雷达的距离测量原理比角度测量原理简单得多，天线发射高频脉冲，其传播方向存在目标时，目标反射回波，被雷达接受。假设目标和雷达的距离是r，回波信号发射的脉冲信号时间为t，电磁波传播的距离等于光速乘以传播时间2.几个坐标系的介绍2.1.世界坐标系世界坐标系的引进是为了说明不同传感器之间的相对位置关系，数码相机设置在三维空间中，需要世界坐标系这个基准坐标系来说明数码相机的位置，用它来说明设置在这个三维环境中的其他物体的位置世界坐标系的位置由用户定制设置2.2.毫米波坐标系也就是说，雷达检测显示的目标位置信息包括距离r、俯仰角、水平位置角2.3.摄像机坐标系以照相机的光心为坐标的原点，x轴和y轴分别平行于图像坐标系的x轴和y轴，照相机的光轴为z轴，用(xc、yc、zc)表示坐标值2.4.图片坐标系以CCD图像平面的中心为坐标原点，x轴和y轴分别平行于图像平面的两条垂直边缘，用(xxxx，yt)表示坐标值。图像坐标系用物理单位(例如毫米)表示图像素在图像中的位置2.5.像素坐标系以CCD图片平面的左上角顶点为原点，x轴和Y轴分别平行于图像坐标系的x轴和Y轴，用(U、UV)表示坐标值。数码相机采集的图片首先是形成标准电信号的形式，然后通过模数转换转换为数字图片。每个图像的存储形式是M，×N的数组，M，N的图像中每个元素的数值代表图像点的灰度。这种各样的要素被称为像素，像素坐标系是以像素为单位的图像坐标系3.一些坐标系的相互转换毫米波雷达坐标系和世界坐标系转换以行车为例，在前向障碍物检测应用中，毫米波雷达按要求设置在车辆前保险杠的中间位置时，雷达波检测面接近二维水平。XOZ是世界坐标系的平面，XrOrZr是雷达坐标系的平面，两者平行，Y，Y，Yr垂直于XOZ平面，XO0Z平面与XrOrZr平面的距离为H，因此对于雷达检测到的目标P(R，α)，世界坐标系转换到根据线性摄像机模型，通过三角相似关系可以获得摄像机坐标系与影像坐标系之间的转换关系，假设摄像机坐标系中有一点点点，坐标为Xc、YC、Zc，PP点在影像平面上的投影点为F，P在影像坐标系中的坐标为X、Y，而且PP点与P点的连线与摄像机镜头平面的交点为OC，即镜头光心。图像平面平面和相机镜头平面之间的距离是相机焦距离的F，因此可以通过三角形相似原理获得:图像坐标系于像素坐标系的转换，各数字图像在计算机内为MTNM的数组，MM行NN列图像中的各要素(称为像素，pixel)的数值是图像点的灰度值。如图所示，图像中直角坐标系u、v、各像素的坐标(u、v)分别是该像素在数组中的列数和行数。因此(u、v)是以像素为单位的图像坐标系坐标。因为(u、v)只表示像素在数组中的行数和列数，所以没有用物理机构表示这个像素在图像中的位置。因此，建立物理单位(如毫米)显示的图像坐标系的坐标。图像中的任何像素在这两个坐标中的关系是nbp；nbp；世界坐标是相机坐标系的转变摄像头坐标系的位置固定在摄像头上，也存在于三维世界空间中，坐标单位也是物理长度单位，与世界坐标系只存在位置的差异，通过制作旋转矩阵R和平转矩阵T，可以实现世界坐标系和摄像头坐标系的转换。假设空间中的一点是世界坐标系的坐标旋转矩阵R是3×3的单位正交矩阵，描述了两个坐标系坐标轴之间的旋转关系，平转矩阵T是三维平移向量，描述了两个坐标系原点之间的平移关系，OT=[0000]是三维零向量，M1是4×4矩阵世界坐标系和像素坐标系的转换以上是世界坐标系统和相机坐标系统之间的转换关系、相机坐标系统和图像坐标系统之间的转换关系、图像坐标系统和像素坐标系统之间的转换关系。结合这三种转换关系，坐标系统中的一点P(Xw、Yw、Zw)像素坐标系统的转换关系M为投影矩阵，用于描述世界坐标系和像素坐标系的转换关系，其中M2为相机内部参数，M1为相机外部参数，由相机制造技术决定。世界坐标系的点向像素坐标系投影时，但像素坐标系的点与世界坐标系的无数点相对应。因此，对于像素坐标中的已知点，必须规定该点在三维空间中的对应基准点或参考平面，以实现世界坐标系中对应点的确立