语音只是开始,思必驰多模态交互融合来袭？

人类的交互通道有眼耳鼻舌头等器官，他们作为外部世界信号的接收器，接收范围内的信号传达给大脑。在机械世界，从过去的鼠标键盘到现在的触摸、声音、手势、视觉等，多模式的人机交互技术相互融合。

目前，智能语音兼顾老人、儿童和地方方言的能力、语音和视觉、触摸屏、LCD反馈显示相结合的交互体验，降低交互阈值。国内专业对话AI企业思必驰，结合全链路语音交互技术和自我研究计算机视觉技术提出多模式交互技术方案，登陆白电、黑电智能终端，满足用户智能需求。

机械耳鼻舌头

机械能够理解人类对话，产生对话和服务，大大提高了物联网设备的实际使用价值。越来越多的物联网设备配备了语音联网设备越来越多，从电视、冰箱到家庭设备，各种终端不胜枚举。

在实践过程中，发现语音交互的物联网设备缺乏积极服务的能力，只是改变了操作方式，用户体验本质上没有提高。这种自主服务不足的人机关系如何变化？答案可能是，机器不仅可以听，还可以看，可以感觉，可以把五感联系起来思考。

在智能语音交互发展过程中，多模式交互是必经阶段。拥有各种传感器的智能设备，不仅可以听(耳)，还可以利用照相机(眼)观察、底盘云台(脚)的移动等，全面理解用户，与用户交流，满足用户的需求。

这个交互过程模拟了人与人之间的交互方式，使交互更加自然，符合用户的意图。该互动方式打破了传统键盘输入和智能手机的点触式互动方式，符合机器人类产品的形态特征和用户期待，定义了下一代智能产品和人类的独特互动模式。

三方面，加深多模式交互

智能经济时代，人机交互全面智能化，带来一系列深刻变革。需要不断升级产品、内容、服务,才能更好地适应用户在未来智能化终端上的需求和习惯。

思必驰作为国内专业的对话式人工智能平台公司，从信开发者_JS百科号处理、识别到互动，思必驰拥有全面的智能语音技术。思必驰多模型互动技术的应用主要是

多模型VAD

根据视觉和音频特征，通过多模型融合识别说话者的语音内容，拒绝识别其他说话者的声音，实现辅助噪音、拒绝识别

人脸识别amp的人脸比较

人脸识别:人脸的关键点、头部姿势、人脸和相机的距离、性别、年龄、年龄、年龄、口罩、其他电话

智能家居领域，对于空调、冰箱、炉子等白电产品，必须提出智能白电AI交流解决方案。根据智能白电的不同网络模式(中央控制/分布式/单体)，思必驰提供正面觉醒、附近觉醒、语义觉醒、多模式综合觉醒方案。在黑色电视领域，智能电视作为客厅经济的核心代表产品，占客厅场景最大的流量入口。思必驰为智能电视创造了流畅自然的语音输出，同时背靠DUI平台，通过300多个第三方资源界面，为用户提供家庭控制、交通旅行、新闻信息、生活娱乐等各个领域的内容服务。

对于周围噪音大、很多人密集同时交流的情况，例如很多用户激烈地玩电子游戏、家人和家人聚会等。思必驰多模式交互技术方案，根据视觉和音频特征，通过多模式融合VAD分离演讲者的目标声音，拒绝其他演讲者的声音，实现辅助噪音，提高声源定位的精度，演讲者在移动状态下也不受影响。

另外,思必驰多模态交互技术方案还可以应用在会议大屏、商场显示大屏、地铁购票机等商用带屏显示设备中,目前此技术已在全国多个地区地铁的购票设备中落地。

随着思必驰旗下深聪智能第二代AI芯片发布,思必驰在多模态方面的演进路线更加明朗。语音、图像、手势等互动方式的融合可以大幅度降低用户AI体验的门槛，将来思必驰将继续发挥优势，继续创造更多满足AI应用场景的产品，为智能经济时代提供向上的引擎。