CMOS图像传感器培训课件.ppt

1、2015/03/20SuperPix Confidential1ppt课件光电转换原理光电转换原理Pixel结构结构曝光方式曝光方式Sensor架构及工作原理架构及工作原理Sensor的寄存器控制的寄存器控制ADCGain频率计算频率计算帧率计算帧率计算BlacklevelFlickerImage lag太阳黑子太阳黑子尺寸和窗口尺寸和窗口BinningPLDOPAD 驱动驱动实验实验Outline 2ppt课件光电转换原理光电转换原理光电转换的输出信号与光电转换的输出信号与光照强光照强度度成正比，与成正比，与曝光时间曝光时间成正比成正比图像传感器的作用就是把光信图像传感器的作用就是把光信号转

2、换为电信号并且量化输出号转换为电信号并且量化输出PDNote：光电转换并不是没有限制的，光电转换并不是没有限制的，当电荷累积到一定程度，效率慢慢下当电荷累积到一定程度，效率慢慢下降，最后不再增加，这也是降，最后不再增加，这也是sensor中中pixel有一个最大输出范围的原因。有一个最大输出范围的原因。左图为实际某左图为实际某sensor 的的pixel输输出电压的测试结果出电压的测试结果单个pixel结构0.00200.00400.00600.00800.0000.511.522.53Mean Output(mV)Exposure(lux*sec)photo responseGrRBGb3p

3、pt课件Pixel结构结构分辨率分辨率 VGA,640*480;2M,1600*1200 5M,2592*1944 Position（定义颜色位置）（定义颜色位置）行行 row&列列 columnFSI(Front Side Illumination)BSI(Back Side Illumination)Color filterMicro-lens通常长方向为行，短方向为列，在调试中一定要正确区分，因为行列噪声或行列线通常长方向为行，短方向为列，在调试中一定要正确区分，因为行列噪声或行列线出现问题的原因是完全不一致的！出现问题的原因是完全不一致的！!4ppt课件曝光方式曝光方式目前sensor

4、多采用滚动曝光方式滚动曝光方式，即逐行曝光逐行读出，每行复位到读出的时间间隔即曝光时间。曝光控制寄存器中数值代表曝光多少行：曝光时间曝光时间=曝光行数曝光行数*行长行长。注意：当曝光时间大于1帧时，会插入vblank来获得较长的曝光时间。为了便于调试和计算，行长行长通常用多少个clk表示，如sp2508行长为1158，指的是1158个DAC_CLK周期，用时间表示：行长=1158*T_dac_clk。请注意不同sensor可能用不同的clk来表示，参数给出时会注明。VSYNC定义一帧的有效数据输出时间HSYNC定义一行的有效数据输出时间帧长帧长=有效数据行+vblank行（单位：行）并口输出时

5、，平台端需要并口输出时，平台端需要pclk，VSYNC,HSYNC三个信号共同作用来采集三个信号共同作用来采集有效的图像数据，并且能准确判断行和帧。有效的图像数据，并且能准确判断行和帧。!5ppt课件Sensor架构及工作流程架构及工作流程Pixel array 完成光电转换完成光电转换模拟电路模拟电路 把电信号转换成数字信号把电信号转换成数字信号数字电路数字电路 控制控制sensor工作，数字信号处理，工作，数字信号处理，根据需要输出不同格式根据需要输出不同格式MIPI 把把数字信号以数字信号以mipi协议格式输出协议格式输出其它辅助电路其它辅助电路 如有的如有的sensor带有带有OTP6

6、ppt课件Sensor的寄存器控制的寄存器控制 Timing 包括包括sensor内部各个模块的工作时序关系，内部各个模块的工作时序关系，时钟频率，工作模式，相关配合关系等时钟频率，工作模式，相关配合关系等 模块电路功能控制模块电路功能控制 包括子模块电路的开关，电气性能调节等包括子模块电路的开关，电气性能调节等寄存器分为两类，一类为寄存器分为两类，一类为timing控制寄存器，如控制寄存器，如pll频率控制，频率控制，hb，vb，全尺，全尺寸或寸或binning等模式选择等等；另外一类寄存器为内部电路性能控制，如等模式选择等等；另外一类寄存器为内部电路性能控制，如pixel LDO使能，输出

7、电压控制，使能，输出电压控制，pad驱动能力等等。驱动能力等等。7ppt课件ADCADC（Analog to Digital Converter），模数转换器，把模拟信号转换为二进制的数字信号。如8bit的ADC输出数字码为01111 1111（255）。ADC Range即ADC的有效输入范围 如8bit ADC Range=500mv，输入信号大于等于500mv时，转换输出码值为255.在sensor中ADC Range不能大于pixel的最大输出电压，如pixel最大输出电压为400mv，而ADC Range为500mv，显然输出图像最亮的部分都不能到255，会导致图像高亮发粉。当出现a

8、dc range大于pixel最大输出电压时，要么减小adc range，要么放大pixel信号再做量化。这就是在某些项目中最小增益不是1倍的原因。8ppt课件Gain 增益（增益（gain）分为模拟增益和数字增益 模拟增益指在模拟电路中把pixel输出的电信号进行放大，而数字增益指的电信号完成模数转换后，把数字信号进行放大（自动增益主要是调节模拟增益）。把信号放大的作用主要是增加输出图像亮度，而增益越大噪声也会相对更为明显，在实际项目中都需要根据sensor的具体情况确定最大增益和最小增益。024681012141618增益的寄存器控制：h10-1倍h20-2倍hf0-15倍增益调节分为4档

9、1倍到2倍步长1/162倍到4倍步长1/84倍到8倍步长1/48倍到15.5倍步长1/29ppt课件频率计算频率计算 PLL频率计算 芯片输入E_clk，通过PLL倍频获得一个很高频率的pll_clk，芯片内部时钟均由pll_clk分频获得，pll_clk的频率由通常由两个寄存器共同配置。)2(1_3_*_outdivpllmcpllncpllclkEclkpllP0:0 x2fpll_ctrl_buf706:2 pll_nc1:0 pll_mc0 x10P0:0 x34buf_pll_outdiv10Pll frequency divider control00-101-210-411-80

10、 x01调试中做降频实验时只需要修改调试中做降频实验时只需要修改pll_clk即可，内部其它时钟频率即可，内部其它时钟频率会同步随着会同步随着pll_clk变化而变化，不能单独修改内部其它时钟频率。变化而变化，不能单独修改内部其它时钟频率。1_3_*_mcpllncpllclkE其中，建议在120M300M之间!10ppt课件帧率计算帧率计算Pclk，指sensor输出数据的频率，不是pll_clk。通常在给出的usb3.0参数文件名中会包括pclk的信息，通常说的sp2508 60M参数，就是指pclk 60M。在代码deviceinfo中请注意填写的频率是否正确。行长是用来计算曝光时间的，

11、关系flicker和帧率问题，请注意行长对应的频率。如sp2508 行长1158对应的是内部的dac_clk，如果以pclk计算，则行长为2316，因为所给sp2508参数中pclk频率为dac_clk的两倍。帧率计算方法帧长帧长=有效数据行+vblank行=1225+16=1241行行长行长=2316，对应pclk 60M最大帧率=1/最小帧时间 =1/（2316/60M）*1241）=20.8 fps当曝光时间大于1帧时，帧率由曝光时间决定，如果曝光时间为200ms，那么帧率就为5 fps。!不要单独更改内部不要单独更改内部clk频率控制寄存器频率控制寄存器11ppt课件flicker交流

12、电照明灯发出的光会以一定频率抖动，导致sensor图像出现行方向的水波纹，称之为flicker。目前主要的交流电频率有50Hz（中国）和60Hz两种。为了避免出现flicker，要求曝光时间大于base值时必须是base的整数倍。行）行长()(1000050_ushzbase行）行长()(833360_ushzbase如所给参数行长为1158（clk周期个数），对应clk频率为30M，则)(259)(30/115810000)()us(1000050_行行行行长hzbase!当出现当出现flicker时，首先要判断曝光时间是否正确，打印曝光寄存器值，看时，首先要判断曝光时间是否正确，打印曝光寄

13、存器值，看是否是是否是base的整数倍；如果是的整数倍；如果是base的整数倍，那么就得确认所用的行长和的整数倍，那么就得确认所用的行长和频率是否正确；如果都正确就需要向研发反映，可能频率是否正确；如果都正确就需要向研发反映，可能sensor功能异常或者功能异常或者是行干扰。是行干扰。12ppt课件blacklevel Blacklevel简单的说就是黑电平，指在dark下pixel的输出值，这个值可能为正亦可能为负，在正常光照输出时需要减掉blacklevel值。Blacklevel的统计和正常输出时减blacklevel都在芯片内部实现，可通过寄存器调整。Blacklevel值的统计方法有

14、三种，1帧统计，4帧统计，8帧统计。Blacklevel引起的图像抖动引起的图像抖动 通过开关通过开关blacklevel来确认。主要可能是来确认。主要可能是blacklevel不稳，如果是单帧统计改为不稳，如果是单帧统计改为4帧，帧，8帧统计是否有变化；是否帧统计是否有变化；是否sensor散热不好引起；需要测试散热不好引起；需要测试ob值的变化。值的变化。Blacklevel引起的偏色引起的偏色 通过开关通过开关blacklevel来确认。来确认。Blacklevel统计值偏大会引起暗态偏绿，而统计值偏小会统计值偏大会引起暗态偏绿，而统计值偏小会引起暗态偏红引起暗态偏红。拍照切换拍照切换

15、当预览和拍照采用不同参数时，需要注意当预览和拍照采用不同参数时，需要注意blacklevel控制寄存器的修改，因为拍照时控制寄存器的修改，因为拍照时间很短，不可能有很多帧来统计间很短，不可能有很多帧来统计blacklevel，因此要求把拍照参数中的，因此要求把拍照参数中的blacklevel改为改为1帧统计。帧统计。13ppt课件Image LagImage lag即图像残留，在每个即图像残留，在每个pixel曝光前都需要把上一次曝光产生曝光前都需要把上一次曝光产生的信号抹除（复位），然后再进行新一帧图像的曝光。当复位时间太的信号抹除（复位），然后再进行新一帧图像的曝光。当复位时间太短或者其他

16、原因造成复位不完全，那么下一次的曝光读出就包含了上短或者其他原因造成复位不完全，那么下一次的曝光读出就包含了上一帧残留的信号，并且不同亮度区域残留的信号量不同，导致图像反一帧残留的信号，并且不同亮度区域残留的信号量不同，导致图像反映的信号量与曝光时间不匹配映的信号量与曝光时间不匹配Lag在手机图像上表现：在手机图像上表现：1.晃动时拖影严重，灯管高亮区域拖出绿色晃动时拖影严重，灯管高亮区域拖出绿色 2.高亮四周较暗区域图像分层明显，暗区域偏绿高亮四周较暗区域图像分层明显，暗区域偏绿14ppt课件太阳黑子太阳黑子 太阳黑子太阳黑子指的是拍照高亮物体时，在高亮区域反而出现黑色的斑点，这是由于光照太

17、强pixel不能有效工作引起的，在sensor中都做相应的校正功能，可以消除该现象。Sp2508 太阳黑子校正寄存器太阳黑子校正寄存器1使能，0关闭不同的设置电压如果出现太阳黑子现象，使能寄存器不生效或者如果出现太阳黑子现象，使能寄存器不生效或者使能后出现列噪时，需要反馈到研发做分析。使能后出现列噪时，需要反馈到研发做分析。!15ppt课件Updown/mirrorSensor默认所见即所得，图像显示与人眼看到场景一致。当进行updown或者mirror时，sensor内部pixel array的输出顺序相应发生变化，第一个输出pixel颜色发生变化，所以position定义需要调整。Updo

18、wn和mirror在调试中的另一个作用是用来判断行线和列线产生的原因，如果是pixel array出现问题，那么行线列线会随着updown和mirror位置改变，如果是电路工作timing的问题，行线列线位置一般不会变化。16ppt课件ColorbarColorbar为芯片内部自测试数据，可以用来判断芯片到平台的数据传输正确性，当出图不正常，颜色异常，偏色，抖动，坏线坏点都应该先看看colorbar是否正常，判断问题出在哪里MIPI也有自己的colorbarDigital YUV colorbarDigital RAW colorbarMIPI colorbarSP2508 Digital c

19、olorbar 使能寄存器使能寄存器SP2508 MIPI colorbar 使能寄存器使能寄存器17ppt课件尺寸和窗口尺寸和窗口Sensor通常都支持比自身全尺寸小的各种格式尺寸输出通常都支持比自身全尺寸小的各种格式尺寸输出 如sp2508全尺寸输出为1616*1216，就支持720p(1288*728),900p(1288*908),1600HD+(1608*908),2*2 binning(808*608)等等输出尺寸，通过寄存器控制选择。默认给出的各尺寸都比标准尺寸大，是为了便于图像的边界处理，有默认给出的各尺寸都比标准尺寸大，是为了便于图像的边界处理，有的平台只需要标准尺寸，就需要

20、同时修改数字输出尺寸寄存器和的平台只需要标准尺寸，就需要同时修改数字输出尺寸寄存器和MIPI的输出尺寸寄存器的输出尺寸寄存器例如之前高通平台认证时要求输出标准尺寸，sp2508全尺寸输出1600*1200；sp5409全尺寸输出2592*1944.18ppt课件尺寸和窗口尺寸和窗口19P2:0 x37dem_v_start_3msb2:020Image vertical start 3msb0 x00P2:0 x38dem_v_start_8lsb 70Image vertical start 8lsb0 x00P2:0 x39dem_v_size_3msb2:0 20Image vertic

21、al size 3msb0 x04P2:0 x3adem_v_size_8lsb 70Image vertical size 8lsb0 xc0P2:0 x3bdem_h_start_3msb2:020Image horizontal start 3msb0 x00P2:0 x3cdem_h_start_8lsb 70Image horizontal start 8lsb0 x00P2:0 x3ddem_h_size_3msb2:0 20Image half horizontal size 3msb0 x03P2:0 x3edem_h_size_8lsb 70Image half horizo

22、ntal size 8lsb0 x28sp2508数字尺寸控制寄存器数字尺寸控制寄存器Start寄存器从寄存器从0开始，如减少开始，如减少2行，那么行，那么dem_v_start =0 x02!P1:0 x8eh_size_mipi_4msb30MIPI column number0 x06P1:0 x8fh_size_mipi_8lsb70MIPI column number0 x50P1:0 x90v_size_mipi_3msb20MIPI line number0 x04P1:0 x91v_size_mipi_8lsb70MIPI line number0 xc0sp2508mipi尺

23、寸控制寄存器尺寸控制寄存器注意sp2508和sp5409一样，列尺寸定义寄存器是实际尺寸的一半，例如输出1024列，则dem_h_size寄存器应该写为512，即11h200；而行尺寸寄存器应该与实际输出行数一样。如果需要修改start位置，dem_v_start必须为偶数，保证position不变，否则颜色出现错误；dem_h_start没有这个问题。通常尺寸变化不大时可以不修改start寄存器！注意注意2倍倍关系关系!另外修改输出尺寸寄存器不会改变行长和帧长！因此不能提高帧率！另外修改输出尺寸寄存器不会改变行长和帧长！因此不能提高帧率！19ppt课件Binning目前采用的目前采用的bin

24、ning方法就是把同通道相邻四个方法就是把同通道相邻四个pixel通过一定的算法通过一定的算法相加，合并成一个像素点输出，因此输出行列数均减少一半。采用列相加，合并成一个像素点输出，因此输出行列数均减少一半。采用列ADC结构的结构的sp2508和和sp5409 binning模式速度较全尺寸快，但不是模式速度较全尺寸快，但不是2倍的关系，这是与原来倍的关系，这是与原来global ADC sensor有区别的地方。有区别的地方。20ppt课件PLDOPLDO(Pixel LDO)是芯片内部稳压电路，为是芯片内部稳压电路，为pixel array供电，可以有供电，可以有效抑制电源干扰和噪声，效抑

25、制电源干扰和噪声，PLDO输出电压可通过寄存器调节。输出电压可通过寄存器调节。PLDO的输出电压与电源电压(AVDD)必须保证有一定的压差保证有一定的压差，如PLDO输出设置为2.7v，那么需要AVDD要不小于2.8v，否则PLDO工作不正常，不能起到抑制电源噪声或干扰的作用。或者当AVDD较低时，需要通过寄存器调低PLDO的输出电压。这也是在实际应用调试中，当图像行噪严重或者出图异常需要测试芯片供电的原因之一。一旦出现这样的问题，尽量用示波器观察各个电源的波形，并把波形提交给研发分析。SP2508 PLDO控制寄存器控制寄存器PLDO EnableSP5409 PLDO控制寄存器控制寄存器2

26、1ppt课件PAD驱动驱动PAD是芯片和平台间进行数据传输的端口，数据的传输就涉及到是芯片和平台间进行数据传输的端口，数据的传输就涉及到PAD的驱动能力（的驱动能力（只有并口输出调节才有效，只有并口输出调节才有效，MIPIMIPI输出调节无效输出调节无效）当驱动能力不匹配时当驱动能力不匹配时sensor送出的信号和平台接受到的信号如下图所示送出的信号和平台接受到的信号如下图所示实际应用中PAD驱动能力不能过大也不能太小，需要和平台接收端匹配。通常随着频率增加或者是连线越长，要求更强的驱动能力。另外注意data，pclk和hsync，vsync驱动能力最好保持一致，曾经有项目由于驱动能力不一致，

27、导致开机进入camera时出现彩色条纹。另外受到射频干扰时也会影响数据传输，出现红绿行线或者坏行（SP0A19）。SP2508并口并口PAD驱动寄存器驱动寄存器22ppt课件实验实验1.Colorbar2.Updown&mirror3.降频降频4.固定曝光时间或增益固定曝光时间或增益5.开关开关blacklevel，当帧、，当帧、4帧、帧、8帧统计，帧统计，ob值测量值测量6.打印寄存器值，主要是打印寄存器值，主要是gain，exp_time，blc7.PAD驱动修改驱动修改8.改变改变vblank值值9.示波器测电源波形示波器测电源波形10.芯片或模组交叉实验芯片或模组交叉实验11.USB3.0参数点亮参数点亮23ppt课件24ppt课件曝光时间附图曝光时间小于一帧曝光时间小于一帧曝光时间大于一帧曝光时间大于一帧25ppt课件