TI-Tintin-OPT8241二次开发和应用系列–Theory Level(2/3)

前言：本篇的主要目的是，以传统RGB相机为例，做入门程度的介绍。在硬件层，介绍相机的一般系统组成；在软件层，简单介绍相机获得的图像数据格式。相机系统与TOF深度相机他们之间有着一定联系，理解相机一般系统对理解深度相机以及各类相机有着巨大的帮助。

最原始的摄像头模块从过去输出信号为模拟信号，到现在市面上非常常见的输出为数字信号的摄像头模块，并且接上电脑USB接口就可以使用，非常方便。

这里的RGB相机指的是传统的摄像头模块，在淘宝上、网上搜索资料一大堆。

在开始之前，最好先了解以下，相机原理与概念，快门、光圈、景深、ISO、视角(FOV）、色域、白平衡等，可以在B站搜索一些视频食用。

摄像头模块的一般系统组成如下框图：

1.硬件层–传统RGB相机

摄像头是一个提取自然景色的传感器。当自然光进入镜头之后，滤除噪声，感光传感器将光信号转化为模拟电信号，模拟电信号经过处理芯片之后变成数字电信号并且编码成一帧图像信息，再通过接口芯片（例如USB通信接口芯片）将帧图像信息上传到上位机上，上位机还原帧图像信息并显示，最后我们才可以看到数字图像。

摄像头获取自然景色的信息，这个信息的流向一般是：从右往左

各模块简单介绍

镜头模组

镜头模组中的镜头材料会有玻璃材料、塑料、半玻璃等等；镜头模组的组要作用是设置光学参数，FOV、焦距、光圈，滤除不想要的光噪声等等。

传感器

传感器通常有两种，CCD与CMOS 。 CCD（charge-coupled device），CCD的特点是成本比较高、功耗好、效果比较好、像素密度大、低温漂、低噪声；

CMOS（complementary metal oxide semiconductor），CMOS特点是，成本低、但是功耗较高、像素密度较小、效果较差、相对高噪声。

但是目前市面上貌似出现了一个趋势，CMOS的成像质量越来越好，可能要赶上CCD，未来可能许多电子产品的摄像头会采用CMOS传感器。

处理芯片

主要接收传感器发送的模拟信号，并转化为数字信号。RGB相机可能要计算每一点的色彩值，TOF深度相机中的处理器TFC-OPT9221内部有一个depth engine ,主要计算每一个像素点的深度值。还有在其他的相机系统中，我见过使用DSP\FPGA等做处理器芯片。

接口芯片

数据通信方式有许多种，主要有并行、串行方式，类型有USB、火线等等。接口芯片主要作用是，接收到控制器计算后的数据存储在接口芯片的FIFO，并且排列成有序的一帧图像数据，并以特定的图像格式（RGB的图像格式有MJPG,YUY2,RGB8等等）发送给上位机。如果是使用USB接口芯片，则对应的USB协议是UVC（USB video class) 传输协议。

所以，一个摄像头系统的典型硬件系统组成为：模组+传感器+处理芯片+接口芯片+开发平台。在软件层上的开发平台主要是为了做应用开发，可以是在PC上也可以实在嵌入式上等。最终，可以说任何一个摄像头系统都符合TCP/IP五层模型，但是我更想这样概括，这个五层模型可以为：硬件层、硬件连接层、驱动层、通信层、应用层。

硬件层：就是物理层，传感器与处理芯片，接口芯片与上位机等；

硬件连接层：传感器与处理芯片连接电路，接口芯片与上位机通信连接电缆等；

驱动层：一些通信协议，USB接口芯片与上位机的一些数据交互、通信。不同的接口芯片有不同的通信协议，不同的时序，不同的方式，同步还是异步。

通信层：在驱动层之后，控制信息、数据传输策略与分配。

应用层：就是在通信层得到的数据做应用处理，图像呈现、图像预处理等开发。