阅面科技丁小羽：自然人机交互成智能家居主题，多模态技术融合日益重要( 三 )

目前有超过两百万台设备使用阅面的嵌入式AI方案，像智能门铃和智能门锁等，去感知人、理解人。这里我们做的只是是智能家居方向很小的一块，把原来在实验室集群上做的事情搬入到嵌入式芯片上去。整个过程还是有很强的路径依赖，过程还是静态的、单向的。具体来看，模组我们当时做近景和远景两个版本，多核异构当时还是很新的词，现在很多芯片都已经这么设计了。
（当时视觉模组）典型应用主要是社区级的安防，工作主要是模型检测、底层硬件的加速框架、低比特量化、模型剪枝。现在好像并不需要自己写底层硬件的加速框架了，但算力适配这个事情主要框架还是当时那套，本质提升并不是很多。右边图上是用在门禁上的模组——两个摄像头混合双目摄像头，通过多模态的方式把人和照片区分开来，这是我们做模组过程中发现比较有意思的事情，引出下边AI与传感融合的话题。

本文插图
2、第二程：AI与传感融合，可量产性面临挑战
(谈到实际应用中），从实验室出来我们的环境不再是静态图片，而是真实场景——真实场景中蕴含丰富信息， “AI跟传感融合”这个事情变得非常重要。
2017年，我们开始把越来越多的重心放到传感融合上面， 3D是其中一块。要抓取场景中更丰富的信息，要超越人眼视觉能力，可用到的传感技术很多，像3D成像的各种技术实现，还会用到毫米波、超声波雷达等。
创新传感技术可以定义更丰富灵活的识别功能，（比如）可以做金融支付级的活检安全标准；在隐私敏感场景使用，在拍摄用户时身份脱敏“去ID化”；适合用到老人看护等场景当中去。
我们今年投入了比较多的时间来做健康传感方向，通过非接触无感方式去持续监测人的呼吸和心率。设计过程中比较有意思的地方是神经网络和ISP功能打通，芯片公司也在用神经网络做ISP ，做完以后成像结果给我们，我们这边再用神经网络做视觉结果，很自然大家想有没有可能把两个网络合成一个网络去做，这里我们积累了很多联合优化经验。
前面谈到意识到和摆脱路径依赖很难，算法团队倾向于用模型调参去解决问题，即使传感成像方面的优化有时更容易提升整体效果。同时考虑整个方案的可量产性，因为涉及到AI跟传感的结合、特殊摄像头标定等等因素，面临非常大的挑战。
抽象层面是在做传感融合，具体工作这里举例3D人脸识别的门锁模组。那用在智能门锁上，最主要的功能还是帮助智能门锁刷脸开门。同时希望有超长的带机时间、单次换电希望用6个月以上，并且流畅、安全。