National Science Review 基于柔性光栅结构色的触觉感知方法及传感器

我们能想象机器人看到、听到，但机器人能够触摸吗？ National Science Review 基于柔性光栅结构色的触觉感知方法及传感器 观看更多转载,National Science Review

当然可以！假如机器人不能处理触觉信息，那么可能做饭时用力过猛捏碎鸡蛋，或者用力过轻让鸡蛋掉地上。你也无法接受花钱买到这样鸡肋的人工智障吧！其实，触觉感知对于机器人而言至关重要，它是机器人探索和预测周围环境的重要途径，对于机器人的形状感知、力反馈等多种功能的实现必不可少。但目前具身智能的研究多聚焦于处理视觉、语言模态的信息，对处理触觉感知信息的研究甚少。视觉型柔性触觉传感器因其具有高分辨率、高稳定性、连续的触觉信息、低成本以及高信噪比等优点，受到了研究人员的广泛关注。然而，当前的视觉型柔性触觉传感器主要依赖几何光学或标记跟踪来进行触觉评估，这导致其性能受到限制。例如，E. H. Adelson等人提出的GelSight，专门用于测量接触区域的形状；Chorley等人提出了一种人工指尖形状的触觉传感器，可以进行精确的力-位置识别。仅依靠几何光学信息，如弹性体变形引起的照明颜色变化，会影响这些传感器对力的准确识别和定位，从而限制了其分辨率和力 - 位置识别的准确性。而采用标记阵列的方法虽然可以克服这一限制，但在制造更小、更密集的标记时存在很大困难，并且受到瑞利准则的限制。近期，《国家科学评论》（ National Science Review ）刊登了中国科学技术大学副教授董二宝课题组联合香港城市大学副教授于欣格团队，题为 A tactile perception method with flexible grating structural color 的研究论文！这篇文章的研究方向是基于柔性光栅结构色的触觉感知方法及传感器的研究。具体来说，研究团队提出了一种新的触觉感知方法，利用柔性光栅薄膜在白光照射下形成的结构色图案作为触觉表征信息，并结合深度学习算法进行数据处理。通过这种方法设计并制造了名为 IrisTact 的传感器，对其性能进行评估，包括直接单点接触估计性能和动态接触轨迹估计性能等。同时，文章还展示了该传感器方法在多种传感领域的感知扩展应用，如低频振动传感、whisker 传感和 3D 接触感知等。此外，文章讨论了该研究存在的问题及未来的改进方向，旨在为制造高分辨率的视觉型触觉传感器提供新的思路和技术途径，并探索其在机器人感知、环境监测和医疗器械等领域的广泛应用潜力。那么问题来了，什么是“柔性光栅结构色触觉传感器”？柔性光栅结构色触觉传感器是一种利用柔性光栅薄膜在白光照射下产生的结构色图案作为触觉表征信息，结合深度学习算法，能够准确感知接触点位置、力和深度等触觉信息的传感器。当外部负载施加在传感器上时，柔性光栅薄膜会发生变形，导致结构色图案发生变化，这种变化与接触点的位置、施加的力以及接触深度等相关。具体来说，当薄膜受到直接单点接触并变形时，柔性光栅会向传感器内部凸起，造成表面结构色的损失，但这些结构色实际上会反射到传感器的内壁上，其反射角度会随着负载和薄膜变形程度的增加而上升，从而位置降低，这一现象与施加的法向负载幅度有很强的相关性，可作为新的空间结构色特征用于数据处理。
图1. 柔性光栅结构色彩触觉感知方法概览。(a)柔性燃烧光栅膜：(i)通过在玻璃燃烧光栅上浇铸一种柔软的、可复制的材料，得到具有表面周期性微结构和独特结构颜色（干涉图案）的柔性光栅膜；（ii）示意图说明了通过柔性光栅膜的干涉效应产生结构色彩特征。(b)触觉估计。在接触IrisTact薄膜时，触觉信息通过薄膜的结构颜色图案在视觉上表现出来。采用深度学习网络自动建模和解码从该结构颜色模式中获得的触觉信息。最终，网络预测并输出接触状态，包括平面接触位置、接触深度和法向接触力。研究团队采用数据驱动的信息解码方法，利用改进的 ResNet 模型，对结构色图像进行处理和分析，从而直接且准确地预测和重建单点接触的相关信息，包括接触点在柔性光栅薄膜上的平面坐标、接触深度以及法向接触力的大小等。例如 IrisTact 传感器，其内部光学路径通过半透明镜折叠，右侧有两个类似圆柱形结构，分别遵循照明光路径和由柔性光栅薄膜产生的反射光路径，彼此呈 19° 角。左侧为圆锥形以适配相机模块的尺寸和视野。相机模块采集接触后的结构色图像，再结合深度学习算法进行处理和分析，实现对触觉信息的感知和识别。那么，IrisTact 传感器是如何制备并组装的呢？IrisTact 的组装由十个部件构成，除了柔性光栅薄膜外，其余大部分部件为 3D 打印或现成的组件。制备方法如图2所示。
图2. IrisTact的制备工艺。左图：IrisTact的拆分视图。右：由PDMS构建的3d打印组件和柔性光栅膜的材料，加工步骤和中间结果。为了评估传感器的性能，研究团队做了以下实验。
图3展示了直接单点接触的结果，对约 1.02N 的法向载荷进行定位和力传感识别，在不同接触深度和力范围内表现出良好的精度。图3. IrisTact的直接单点接触性能。(a)推断单点接触位置和力的估计管道。固定在校准平台上的压头探测IrisTact，并收集结构颜色图案。通过动态差分法预处理后,送入机器学习模型,图像的输出代表接触位置和正常的接触力大小。(b)先进的触觉传感器和IrisTact之间的比较。©根据测试数据对传感器性能进行统计评估。根据应用接触深度对载荷定位和识别性能进行分类。(d)同一试验数据的力定位和识别量化误差投影到表面光栅上的空间分布。网点尺寸越大，颜色越亮，其对应的误差也越大。动态接触轨迹估计结果如图4，对移动接触的动态识别能力进行测试，结果表明 IrisTact 在动态轨迹预测方面具有较高的精度和良好的动态响应。
图4. IrisTact对接触轨迹的动态识别能力评估。(a)动态轨迹识别管道。使用ResNet来预测所记录的结构彩色视频的每一帧的接触位置。经过动态补偿后，这些位置被映射并显示在各自的帧上，以直观地展示接触点随时间的移动。(b) IrisTact在不同轨迹上的动态识别性能与运动捕捉系统捕获的参考轨迹的图形评价和比较。图 5 展示了 IrisTact 触觉感知方法的感知扩展示例，可扩展到低频振动传感、 whisker 传感和 3D 接触感知等多种传感应用。
图5. IrisTact触觉感知方法的感知扩展示例。（a-c）配备末端执行器，传感器原型擅长感知外部低频振动，引起相关结构颜色变化。它捕获在持续滑动活动中产生的低频振动信号(b)，并测量人体手腕的脉冲速率©。（d-f）在柔性光栅薄膜上加入晶须增强了薄膜对细微外部干扰的响应性。这种晶须膜的适应性使IrisTact能够检测外部干扰，例如在稳定滑动活动(e)或气流通过(f)期间发生的低频振动。在右图中，蓝线表示风速计的参考测量值，而红线表示须传感器的结果。（g-i）内窥镜配备了一个圆柱形柔性光栅套筒，能够检测用软铁丝(h)或化妆刷(i)进行的3D接触。由这些接触触发的结构颜色模式的强烈变化由其侧面摄像头记录下来。在视频中可以看到这些变化的频率和幅度，提供了关于3D接触性质的详细信息，例如这些接触或碰撞的强度和位置。总结一下，IrisTact 在力定位和识别方面性能优异，采用数据驱动方法解决了弹性体变形测量和校准的难题，未来将进一步研究多点接触和复杂接触形态识别，并对传感器进行小型化改进。