动微视觉与中科硅纪联合探索灵巧操作的多模态感知
抓住一枚反光连接器、在动态传送带上识别微小零件、在强弱光切换中保持稳定,这些动作对人手自然,对机器人却同时考验“看”与“触”。围绕动微视觉 DM3 事件视觉模组与中科硅纪 Casia Hand 灵巧手,双方提出视触觉融合方案,让视觉负责捕捉变化、触觉负责理解接触,为精细抓取和具身操作提供更连续的感知依据。

动微事件光学模组 DM3:面向嵌入式高速动态感知的紧凑型事件视觉模组。
灵巧操作,为什么不能只靠一种传感
传统帧式相机能够提供完整图像,却容易在高速运动、复杂光照或反光材质场景中出现运动模糊和信息滞后;触觉可以感知力、形状与纹理,但通常要等到接触发生后才能给出反馈。对于灵巧手而言,单一传感往往只能覆盖操作链条中的一部分。
视触觉融合的价值,在于把“接触前的判断”与“接触后的反馈”连成一条链。视觉提前判断目标位置、运动趋势与接近状态,触觉在接触后补充受力、滑移和纹理信息,控制系统再依据两类信号调整动作。
DM3 看见变化,Casia Hand 读懂接触
DM3 是面向嵌入式视觉应用的紧凑型事件视觉模组。根据动微视觉最新产品资料,DM3 采用 320×320 事件驱动视觉传感器,提供等效时间分辨率超过 10,000 FPS 的高速事件数据、行级 1 微秒时间戳、0.05 lux 低照度感知与 140 dB 高动态范围,并支持 MIPI 或并行数据接口。
Casia Hand 灵巧手侧的阵列触觉可持续记录接触过程中的力、形状与纹理变化。将两者组合后,事件视觉关注高速变化,阵列触觉关注真实接触,形成互补的感知输入。
·接触前:事件视觉捕捉目标运动、边缘变化和接近过程。
·接触中:阵列触觉记录受力分布、接触位置与滑移趋势。
·接触后:视觉、触觉和关节数据共同支持动作调整与结果判断。
从两路信号到一个动作闭环
真正的融合并不是把两种传感器装在一起,而是解决时间对齐、空间标定、特征融合和控制反馈。联合方案将围绕视觉与触觉数据同步、灵巧手运动状态接入、融合算法和接口适配推进验证,让感知、决策与执行在同一条链路中协同工作。
DM3 的小型化设计和通用数据接口,适合嵌入灵巧手、腕部或近端视觉单元;配合 Casia Hand 的触觉与关节信息,可进一步支持多模态算法开发、操作数据记录和二次功能扩展。

双方团队在中科硅纪现场围绕灵巧手与视觉感知融合方案进行交流。
面向四类典型场景
视触觉融合首先服务那些“看不清、抓不稳、来不及反应”的任务。双方将优先围绕典型机器人操作场景推进方案适配与测试。
·工业精密装配:微小零件、连接器及反光或透明工件的视觉引导抓取。
·人形与服务机器人:复杂环境中的自适应抓取和安全交互。
·科研与教育:具身智能、多模态感知和控制算法验证。
·物流与仓储:不规则物体分拣、动态传送带抓取和柔性拆码垛。
联合方案,不止是器件叠加
动微视觉提供事件视觉芯片、模组与相关软件能力,中科硅纪提供灵巧手、阵列触觉与机器人执行平台。双方的合作重点,是把高速视觉、接触反馈和运动执行放进同一个系统中共同设计,并通过真实任务验证方案价值。
未来,双方将继续围绕接口、同步、算法与场景推进联合验证,让机器人在高速变化和精细接触中获得更可靠的感知能力。欢迎围绕灵巧操作、视触觉融合和具身智能研究开展方案交流。
说明:具体配置、性能指标与应用效果以双方最终审核口径、联合测试结果及交付方案为准。
免责声明:本文仅代表作者个人观点,与东方科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

