盲人抖动脸肌就能“打字”!重庆大学受青蛙鸣叫启发,研发免提打字通信系统助力残疾人社交 | 专访

收藏
关键词: 专访研发通信
资讯来源:DeepTech深科技
发布时间: 2021-06-18


是什么让病人无需说话,只需抖动脸部肌肉在电脑屏幕上打出 “I NEED WATER” 去向医护人员要水喝?


图 | 病人在屏幕上打字(来源:受访者)


这是由重庆大学贺显明、郭恒宇、牟笑静等人与王中林院士合作,受蛙鸣行为的启发,联合开发的一款免提打字通信系统,该系统可帮助残疾人与外界通信。


盲打测试中,病人首先打出 “I”。


动图 | 打出字母 “I”(来源:受访者)


然后再打出 “ NEED”,最后打出 “WATER” 便有了文章开头的 “I NEED WATER”。


动图 | 打出 “NEED”(来源:受访者)


该系统的全称叫基于 BTUSE 传感器的免提打字通信系统。 其中, BTUSE 是 bionic triboelectric nanogenerator-based ultra-sensitive self-powered electromechanical 的缩写,即基于摩擦纳米发电机的超灵敏自供电的仿生机电传感器。
 
由于该传感器输出的是一种脉冲信号,所以该研究团队使用莫尔斯电码作为通信协议,来实现残疾人或者病人的人机交互。
 
他们将一个触发信号设置为“dit”,两个触发信号设置为“dah”,三个触发信号设置为“Enter”,四个触发信号设置为“backspace”。

其中,“dit” 和 “dah” 之间的时间间隔是一个重要参数,在短时间间隔下,用户必须快速触发,而长时间间隔则会降低通信效率。

这意味着,由于不同的触发习惯,每个用户都有一个独特的最优值,而最优值是效率和精度之间的折衷值,可通过机器学习算法的预训练得到。

图 | 免提打字通信系统(来源:受访者)

在支持向量机(SVM)模型中进行预训练后,该团队获得了 96.3% 的高识别准确率。根据莫尔斯电码的一般规则,所有字母都可以用 “dit” 和 “dah” 来表示。

在演示中,该研究团队根据莫尔斯电码规则成功输入了单词 “HMI”(Human Machine Interface 的缩写,即人机接口,又叫人机界面)。

图 | 根据 莫尔斯电码 规则成功输入了单词 “HMI”(来源:受访者)

作为一种新型医疗通信辅助设备,基于 BTUSE 传感器的免提打字通信系统在智慧医疗方面具有较好的应用前景。
 
事实上,免提打字通信系统只是该研究团队成果的具体应用之一。围绕 BTUSE 传感器,该研究团队撰写了论文并于近期发表在 Advanced Science
 
论文标题为《用于肌肉触发通信应用的仿生超灵敏自供电机电传感器》(Bionic Ultra-Sensitive Self-Powered Electromechanical Sensor for  Muscle-Triggered Communication Application),是由重庆大学贺显明、郭恒宇、牟笑静等人与王中林院士合作共同发表。

图 | 相关论文(来源:受访者)

以青蛙“咕呱”为启发,研发出超灵敏自供电的仿生机电传感器

摩擦纳米发电机(TENG,Triboelectric Nanogenerator),是基于接触起电(contact electrification)和静电感应(electrostatic induction)耦合的可收集人体与环境中的微小机械能的新型微能源技术。
 
自几年前由王中林院士团队首次发明以来,它已广泛应用于环境能量采集、自驱动传感(人机界面、穿戴式电子产品、环境监测、医疗康复、智能书写和语音识别等)和蓝色能源等领域。

TENG 具有高输出性能、轻薄、柔性和较好的稳定性等优势,故可用于开发稳定舒适的人机交互应用。
 
具体以怎样的形式交互?该研究团队想到了仿生青蛙。
 
他们发现,当雄蛙呱呱叫时,由肌肉控制的大嘴轻微收缩(微运动),挤压出来的气流推动青蛙的外部声囊发生明显的变形。然后,声带的共振会增强声带的声音
 
受青蛙呱叫行为的启发,该研究团队研发出这种基于 TENG 的超灵敏自供电的仿生机电传感器,它可将咬肌肌肉的实时微运动,转化为人机交互的控制命令。

图 | 雄蛙呱呱叫(来源:受访者)

如下图所示,BTUSE 传感器集成了具有放大效果的运动模块、以及可产生电信号的 TENG 模块。运动模块包括传感膜、以及由间隔层分离的振动膜,其中穿透间隔层的孔隙可作为空气呼吸通道。

图 | BTUSE 传感器的结构示意图(来源:受访者)

半径为 14 mm、距离间隔层为 5 mm的传感膜,就像青蛙的嘴一样,会随着肌肉缩放而变形。
 
同样,半径为 7 mm 并与间隔层紧密接触的振动膜,可以模仿青蛙外部声囊的功能,在传感膜的驱动下,它会产生大幅度变形。

图 | 传感器青蛙鸣叫(来源:受访者)

这里有个小细节,所有薄膜都被设计成圆形,是因为圆形边界的曲率与其他形状相同,从而能实现又小又均匀的应力分布。

接着,通过模拟口腔的结构和声囊,该团队使用柔性 PDMS 弹性体(聚二甲基硅氧烷,一种疏水的有机硅材料),制备出了传感膜和可变形振动膜,这时便可将咬肌的微小波动,放大为振动膜的大幅度变形。此时,再把 TENG 技术融入到仿生结构中,即可把薄膜的振动转换为电信号。
 
研究中,该团队还运用摩擦材料掺杂改性技术,让摩擦电层的表面电荷密度实现最大化,借此增强摩擦电层的信号强度。

(来源:受访者)

据悉,该传感器的灵敏度为 54.6 mV mm -1、强度信号为 ±700 mV、传感范围为 0-5 mm。相比传统的生物电位肌电图方法,它的信号强度高出 206 倍。

利用摩斯电码和机器学习算法,该传感器可实现安全、准确且稳定的通信辅助人机交互应用,其中准确度达 96.3%。

BTUSE 传感器可将用户咬肌的实时微动,转化成人机界面的控制命令,同时作为摩斯电码的通信协议,可应用于人机交互中。
 
基于 BTUSE 传感器的高性能,该研究团队将莫尔斯电码作为通信协议引入 HMI 应用,并开发出了上述免提打字通信系统。

(来源:受访者)

原理基于接触带电和静电感应的耦合

TENG 模块由银纳米线(AgNWs)基底部电极、银纳米线/钛酸钡纳米颗粒/聚二甲基硅氧烷(Ag NWs/BaTiO3 NPs/PDMS)复合摩擦材料(下称“摩擦材料”)、以及碳基顶部电极组成。
 
其中,底部电极和摩擦层被集成为一个间隔层,顶部电极附着在振动膜上,当薄膜振动时,它与摩擦材料接触/分离。
 
下图分别是传 感膜、底部电极、摩擦层和最终组装的装置,这些装置的灵活性可帮助提高用户体验。

图 | 传感膜、底部电极、摩擦层和最终组装的传感器(来源:受访者)

下面的扫描电子显微镜(SEM)图像,分别显示了银纳米线、摩擦材料和碳基导电膜的微观形貌图它们的微观形貌会影响器件的信号强度。

图 | 银纳米线、摩擦材料和碳基导电膜的 SEM 图(来源:受访者)

该研究团队表示,BTUSE 传感器中的放大效应,源于传感膜和振动膜之间的尺寸差异。其中,肌肉运动会导致传感器中的空气被压缩,但这种影响可以忽略不计,因此由感测膜的轻微变形挤压出的空气体积等于振动膜的体积。

图 | 传感膜和振动膜之间的尺寸差异(来源:受访者)

BTUSE 传感器产生电气输出信号的原理,是基于接触带电和静电感应的耦合。下图显示了它在肌肉收缩和放松过程中的发电过程,包括电荷转移行为和 COMSOL 模拟的电位分布。

图 | BTUSE 传感器在肌肉收缩和放松过程中的发电过程,以及电荷转移行为和 COMSOL 模拟的电位分布(来源:受访者)

在初始阶段,摩擦薄膜带负电,碳基电极则带正电,这些电荷是通过几次接触分离循环获得的。
 
在传感器的肌肉收缩阶段,由振动膜驱动的顶部电极会逐渐离开摩擦材料,这会导致两层之间的电位差逐渐增加。
 
然后,电子会从顶部电极流到银纳米线底部电极。在肌肉松弛的中间阶段,在传感膜的弹性力和以及振动薄膜的压力下,顶部电极可逐渐回到初始状态,这会导致电位差逐渐降低,并会让外部电路产生相反的电流。而这正是信号生成过程的整个周期。

采用防水 性材料与密封结构 ,可在出汗环境下稳定工作

除了研究摩擦材料对 BTUSE 传感器输出的影响外,该研究团队还研究了装置结构尺寸对输出的影响,如振动膜的尺寸、厚度以及呼吸孔的布置。

为实现对于 BTUSE 传感器性能的定量描述,他使用振动平台和位移传感器来控制振动膜的变形。

实验中,他们发现了一个规律现象:随着变形的增加,不同构型的传感器的输出,经历了三个变化阶段,分别是线性增加阶段、非线性增加阶段和饱和阶段。

(来源:受访者)

这三个阶段分别对应 BTUSE 传感器在肌肉驱动的小变形、大变形和过度变形中工作。该研究团队还发现,薄膜厚度越薄,灵敏度和信号强度也越好。
 
紧接着,该团队还研究了传感器的表征如频率响应、稳定性和防水。如前所述,一定范围内,BTUSE 传感器的电学输出会随着频率增加而逐渐增大。

为研究长期实际应用中的稳定性和耐久性,该研究团队以5Hz的频率对其进行了 60000 个周期的重复变形实验。


(来源:受访者)

结果证明,整个过程中传感器的输出始终保持稳定,由于其外层的 PDMS 密封层,即便浸水后其输出性能也不受影响,因此可在出汗环境下稳定工作。
 
谈及未来,该团队表示免提系统不是终点而是起点,病魔无情,科技有爱,未来他们会致力于研发更灵敏、更舒适、更友好的人机交互系统,让人人都能感受到科技的魅力,享受到科技的便利。

据世界卫生组织(WHO)统计,目前全球有 10 亿左右残疾人。他们也被要求在疫情期间出示健康码,这时就得使用智能手机。
 
多数残疾人用的手机,是基于正常人的需求设计而来。 智能产品给正常人带来了方便,但却可能给他们带来更大的不便,因此专为残疾人设计的人机交互系统寥寥无几。 而该团队的工作瞄准这一小众群体,正是科技向善的彰显。


-End-