基于海思soc的智能产品开发（两个图像处理来源）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】

        对于图像，大家能够想到的一般就是sensor，也就是摄像头。其实对于图像来说，还有另外一个来源，那就是usb摄像头。和mipi sensor出来裸图像不同，usb出来的图像一般都是isp tuning好的，直接使用即可。

1、mipi sensor要求更高、难度更大

        如果是mipi sensor导入，一般都是有特定的项目要求的。比如说是工业用，还是医疗用；是白天用，还是夜视用；是广角带畸变的，还是普通的。另外，很多时候为了配合屏幕，也要利用isp对sensor raw图像进行调试。所以，这种情况下，用usb摄像头是不合适的，只有选择特定的sensor，对特定的场景进行优化，才能满足客户需求。

        这个时候外部的mipi sensor一般也是带镜头的，甚至有光源，但是出来的图象是raw图像，需要用soc的isp进行调教的。

2、usb sensor容易获取、难度低

        如果是一般的图像处理，或者对图像质量要求没有那么高，那么usb摄像头也是不错的选择。我们知道，在海思soc mpp平台里面，vi的部分，其实就是sensor驱动、mipi驱动、isp驱动的一个组合体。那有了usb sensor之后，图像这部分，其实不用特别关心了，我们可以把重心放到图像的处理上面，而不是图像的获取和调优。

        和mipi sensor一样，usb sensor也是带镜头的，有的也带光源。剩下来的区别，除了是uvc接口，另外一个重要的区别，就是usb sensor内部做了isp，图像出来就是直接可以用的。不过，由于图像本身调试特别费时间，这里面有对sensor的调试，还有对isp的调试，如果没有这方面的积累，总的来说，还不如使用usb摄像头进行处理。况且，usb uvc默认都是免驱动的。

3、其他所有的功能都是复用的

        就海思平台来说，除了vi不同之外，其他模块都是复用的，比如说图像的编解码、比如说vpss、比如说vo，甚至是ai部分使用也不在话下。所以说，即使我们用的是usb摄像头，能做的东西还是非常多的。这种产品不一定是标品，很有可能是非标定制品，即使是这样，也是有很大的市场。

4、优先使用官方推荐的sensor

        对于任意的soc平台，支持sensor都是基本操作。这个时候，往往平台会有自己推荐使用的sensor，这些sensor的代码、驱动、isp参数，都是事先准备好的。如果自己有类似的需求，但是又不想花费太多的时间，完全可以复用这些官方推荐的sensor。

5、可以用usb camera开发的产品

        本身海思mpp平台还是非常棒的，假设使用的sensor不是mipi输入的，而是usb输入的，这种情况下，获取的裸数据就是v4l2提供的，而不是vi进来的。同样，这里面就有很多的事情可以做，比如说，

        usb内窥镜-》vo，这就是医疗产品，或者是工业产品；

        usb摄像头-》编码-》文件，这就是视频记录仪；

        usb摄像头-》NPU-》232/485，这就是智能传感器；

        usb摄像头-》编码-》网络，这就是IPCam，或者是视频会议设备；

        四usb摄像头-》vpss-》vo，这就是图像拼接，或者数字监控存储设备等等。