讯飞“超脑研发一号研究员”弥补国内常识推理空白,主导AIUI核心技术研发支撑讯飞人机交互战略”

收藏
关键词: 研发
资讯来源:DeepTech深科技
发布时间: 2022-04-14


认知智能其实是一个很有意思的话题,它主要是让机器拥有能理解会思考的能力。大家都知道动物和人之间有很大差别,大部分动物尚不能进行逻辑推理,那么机器离人类的差距就更大了。从下面的一个国际常识推理评测任务,即可直观感受出机器和人的“智力”差距。


爸爸没法举起他的儿子,因为他很重。


问:谁重?答:儿子


爸爸没法举起他的儿子,因为他很虚弱。


问:谁虚弱?答:爸爸


上述在人类看来简单无比的常识推理问题,机器的推理能力尚不到儿童水平,实现通用人工智能还很遥远。而科大讯飞研发的 “讯飞超脑常识推理技术”,居然获得 2016 年 Winograd Schema 国际认知智能挑战赛第一名,正确率达到 58%,比赛中第二名获得者的正确率仅有 40% 左右。


Winograd Schema Challenge 是新型的认知智能国际评测任务,重点考察机器是否具备理解常识、并实现认知推理的能力,被认为是图灵测试的替代版本,科大讯飞在此次比赛中的表现,引起了整个 AI 领域的热议和关注。


科大讯飞 AI 研究院副院长认知智能国家重点实验室人机交互研究室主任刘权表示:“我当时构建的这套系统是唯一一个用深度学习去做的常识推理系统,其他系统都是用传统符号逻辑推理的方法做的,对推理正确率的提升非常困难。虽然我们获得了冠军,准确率也只有 58%,这还远远不够,机器自动推理在认知智能领域仍然具有非常大的挑战。”


2022 年,刘权进一步创新提出了融合多源知识的深度学习常识推理方法,有效改进超大规模预训练模型所存在的问题,“带领团队在国际知名常识推理评测 Commonsense QA 2.0 上以 76% 准确率,领先第二名 3% 的绝对优势取得第一。”


图|科大讯飞 AI  研究院副院长,认知智能国家重点实验室人机交互研究室主任刘权(科大讯飞)


十年前,以 NLP(自然语言处理)为代表的认知智能技术在国内甚至国际上还处于以传统的统计学习、结合规则为主要技术范式的阶段,在这样的行业背景下,由于兴趣的驱动,刘权读博期间坚定地选择了 NLP 研究方向,与此同时,他也踏上了一条艰难的科研之路。


对 NLP 高度热爱,致力于填补常识推理空白


2012 年,刘权刚在中国科学技术大学电子工程与信息科学系攻读工学博士学位,也恰好加入了中科大与科大讯飞联合共建的语音及语言信息处理国家工程实验室,有机会向该实验室走出的大咖学习请教。


在大学期间,刘权听了许多关于 NLP 的讲座,看了一些 NLP 有关的历史书籍,由此对 NLP 产生了浓厚的兴趣,就选择了 NLP 方向。刘权说:“当时选择 NLP 方向就是单纯地热爱,没有太多缜密的逻辑,也没有想过未来会遇到哪些困难,就是一种初生牛犊不怕虎的状态。”


据了解,与刘权一届的同学有 10 多位进语音及语言信息处理国家工程实验室的同学,但是只有他选择了 NLP 方向,其他同学做的是语音识别、语音合成、语音评测等方向研究。


刘权当时在思考一个问题,我们做语音技术,包括语音识别、语音合成是为了让机器能听会说,事实上机器光能听会说还不够,要想真正能理解,能懂人类说的语言,那么必须要做自然语言处理,深入研究机器对语言和知识的处理及运用。


随着思考的进一步深入,困惑也越多,因此刘权花了整整三个月的时间,看了许多 NLP 相关的论文,把整个自然语言处理领域近 3~5 年的顶级会议文章,基本全部读了一遍,甚至对部分文章做了反复精读,看完大量文献之后,刘权更加坚定了自己的科研选择。


图|刘权(来源:刘权)


2013 年,刘权在研究生一年级期间即获得全国人机语音通讯学术会议最佳学生论文奖。2014 年,确定以常识推理作为博士研究课题,拟研究深度学习方法来助推机器实现常识知识推理能力。


他首先遇到的问题是,做常识推理领域的学校和学者都比较少,科学界并无较多的进展和可参考的资料。具体来说有三大困难:


第一,常识推理知识库都没有现成的可以构建和获取,常识知识需要刘权自己去构建,值得一提的是,麻省理工学院花了十五年左右的时间,才构建出一个勉强有一定规模的常识知识,数据资源的稀缺是很大的挑战。


第二,整个常识推理的技术问题很难,刘权在想,“深度学习既然在各种感知类任务中应用的很好,我们能不能在尝试推理里面深挖一定潜力的资料,所以我们在那个时候我就深入进去研究了。”


第三,常识推理本身怎么评价,即人们所研发的 AI 系统,如何评估其常识推理水平,这本身也是一个很难的问题。


因此,刘权在那个时候对此调研了非常长的时间,把业界的整个现状进行了系统梳理。2014 年,讯飞研究院副院长魏思,找到了刘权并表示科大讯飞正在启动“讯飞超脑计划”,期望其加入一起合作研究。在一致的目标愿景牵引以及对前辈的信任下,刘权毫不犹豫地答应,成为了“讯飞超脑”研发计划的一号研究员,在后续和科大讯飞联合往前推进。不仅如此,当时刘权还和加拿大约克大学江辉教授进行了深度沟通。


冷静分析以后,刘权觉得只要专业深入分析探索,一定可以取得预期的突破。当时他依据团队的经验把遇到的问题一一做了拆解,一条线做知识库构建,另一条线去做底层的常识知识的表示,包括语义的表示,第三条线去做推理算法的研究,最后再构建一个大的系统,循序渐进地往前推进。


比较幸运的是,每条线后来都做出了不错的成绩,都有阶段性的一些成果。


譬如,2015 年在国际顶级会议 ACL 上发表一篇主会长文。2016 年,在纽约举办的国际人工智能联合大会 IJCAI 2016,研发的 AI 系统参加 Winograd Schema Challenge 国际常识推理评测大赛并获得第一名。刘权作为关键技术研究负责人,以唯一实习学生身份入选科大讯飞集团 2016 年度十佳团队“讯飞超脑研发团队”。短短 2 年便以第一作者身份发表包括 ACL、IJCAI、刘权等高水平论文 6 篇。2017 年,凭借在常识推理领域的突出贡献,受邀担任国际会议 Commonsense 2017 程序委员会委员。


刘权表示:“当然这个过程中也存较大的压力,我非常清楚记得,在博士期间是每天晚上基本都是两三点睡觉,当时联合指导我的一位导师还在国外,有时候晚上还经常倒时差沟通,然后第二天7点就要起床,再去科大讯飞,每天都处在非常高压的状态,这样的节奏大约持续了一两年。如今回忆起这段全身心投入的经历,真的令我难忘。”


以“技术顶天、应用立地”为本,践行人工智能建设美好世界


2017 年 7 月,刘权正式加入科大讯飞 AI 研究院,先后担任人机交互条线负责人、科大讯飞 AI 研究院副院长,负责科大讯飞人机交互及认知智能基础技术研发及落地应用工作。


业务方面,刘权先后在语音交互、知识推理、自然语言处理等领域领导完成了十余项原创性研究成果,有效推动了科大讯飞人机交互能力在业界的持续引领发展,为公司产生了良好的经济和社会效益。


2017 年至 2018 年间,刘权带领团队创新研发基于关联迁移设想的全新无监督深度学习语义理解方法,将科大讯飞智能汽车、家居、玩具等人机交互系统的理解准确率平均提升了 50%,效果大幅领先业界主流的谷歌 BERT 模型等方法。2019年,刘权荣获科大讯飞华夏创新奖—这是代表讯飞核心科技创新的最高奖项。


更值得关注的是,刘权在开展技术原创研究的同时,还带领团队深耕业务场景,主导讯飞 AIUI 全双工交互平台核心技术研发工作,实现了对讯飞核心人机交互战略业务发展的重要支撑。团队所支撑的讯飞语音交互业务,在车载、智慧家庭、玩具等赛道上的竞争力和引领态势日益稳固,应用规模增长超过 5 倍,日均用户请求量超 2 亿次。


与此同时,刘权在技术层面所做的努力,也得到国家层面奖项和国际学术组织的初步认可。


国家奖项认可层面:2020 年 5 月,刘权凭借扎实的创新成绩和对认知智能技术研究的突出贡献,作为十位核心成员之一获评入选中国青年五四奖章集体“认知智能国家重点实验室创新团队”。2020 年 12 月,人机交互研究及应用成果荣获吴文俊人工智能科技进步奖二等奖。


国际学术组织认可层面:2021 年,刘权受邀担任国际自然语言处理旗舰会议 ACL 2021(CCF A 类顶级会议)的领域主席 Area Chair,同时担任 Session Chair 主持线上会议。2021 年,联合组织 SemEval 国际抽象语义理解评测任务,为推动语言理解领域技术发展贡献了坚实的力量。2020 年,刘权还受邀担任国际自然语言处理与中文计算会议 NLPCC 2020 问答对话方向的领域主席。


(来源:刘权)


刘权在人工智能尤其是以 NLP 为代表的认知智能技术研究及应用领域,取得了卓有成效的技术创新成果,同时在产业应用方面有扎实的贡献。


当谈及取得如此之多的突破性成果、获得多项荣誉背后的成功之道时,刘权说道:“实话说我也没有什么成功的秘诀,总结来说我觉有几个关键的因素对我的成长有很大的帮助。


第一,要对自己做的事有高度的热情,对从事科研工作要有高度纯粹的热爱,然后坚定地往前走。其实在 10 年前我完全可以选择做语音识别、语音合成,因为语音本身就是当时实验室积累最多且实力最强的方向,那个时候刚好深度学习刚刚应用,如果做的话或许也会有较大的作为,但最终我还是听从了自己内心的声音,坚定的选择了常识推理。


第二,成功没有捷径,越是在困难的时候越要沉下心来做事,一旦选择的方向确定了,就要咬定青山不放松,专注地投入自己的热情,去做研究和攻坚难题。如果打一枪换一炮,哪个方向容易就做哪个,很难做出扎实有效的成果。


第三,打开自己的格局和心态,不能过于封闭。要主动获取内外部的信息,跟进最新的进展,还有要对国际上各种学派的思想,持开放态度,不要局限在某一条路线之上。“这一点从刘权博士期间利用深度学习及语言学等相关技术开展语言理解和推理所做的努力可以体现出来。”


正式参加工作之后,刘权始终坚持以 “技术顶天、应用立地”为本的理念,在入职讯飞的 5 年,刘权在科大讯飞做实质性的业务居多一点,在自然语言处理、人机交互、常识、知识推理等人工智能技术方向做出了很多实际成果,有效推动了科大讯飞语音交互能力在业界的持续引领发展,产生了良好的经济和社会效益,但这个时候他并没有完全停留在商业化应用落地上。


刘权投身企业开展人工智能技术应用研究后,还作为企业联合导师,发掘并指导中科大学生在自然语言处理领域发表高水平论文 20 余篇,其中 CCF-B 类以上论文占比超过 50%。时至今日,他每周都保证自己看很多篇论文,即使工作再忙,都要关注最新的技术进展,跟同学深入交流。


主导讯飞 AIUI 全双工交互平台核心技术研发,下好平台+赛道一盘棋 


刘权在开展技术原创研究的同时,还带领团队深耕业务场景,主导讯飞 AIUI 全双工交互平台技术研发工作,实现了对讯飞核心人机交互战略业务发展的重要支撑。


刘权表示:“我们构想的‘平台+赛道’并非为了做平台而做平台,最终是为了服务公司内部业务及外部开发者的,一方面要从实际业务场景中来,又要到平台、产品中去沉淀。这背后有三个大的逻辑:


首先,要承接公司业务的各类交互需求,把头部产品及业务系统的交互能力支撑做好,比如汽车语音助理、家庭电视交互系统等;


其次,构建一系列平台交互定制能力,让开发者能够基于 AIUI 平台,根据自己的需要构建自定义问答、自定义技能等交互应用,极大地减少定制成本;


最后,要能持续推动人机交互技术的变革,不断提出创新且实用的人机交互技术,并能在平台及赛道业务作为根据地的支撑下,实现技术的快速迭代及落地,最终助力在该领域的创新引领。”


刘权团队所支撑的讯飞语音交互业务,在智能汽车、智慧家庭、等赛道上的竞争力和引领态势日益稳固,应用规模增长超过五倍,日均用户请求量达两亿次。当前该方向已延伸至多模态交互方向。2021 年,科大讯飞发布虚拟人交互平台 1.0、AIUI 4.0,讯飞的人机交互技术在不断夯实发展。刘权也先后作为第一负责人,带领团队荣获 1 次集团十佳团队,1 次集团十佳团队提名,以及 2 次研究院优秀团队。


另外,以 NLP 为代表认知智能技术在产业方面的应用也非常广泛,而且现在已经是讯飞非常大的一个技术方向,也是除了智能语音技术之外,讯飞现在支撑业务最广的技术体系。该技术可以为传统产业进行诸多赋能,一是面向各个行业的认知智能,比如说面向教育、面向医疗、面向司法等,二是面向人机交互领域,比如汽车、家庭、玩具、可穿戴设备等 AIoT 场景。


可以预测到,未来人机交互、行业认知智能这两大类认知智能技术的应用领域将与日常生产生活关系日益密切,也与国计民生息息相关。刘权表示:“认知智能的定位,绝对不是做空中楼阁,做纯学术研究,一定是技术顶天和应用立地相结合的,既要有基础算法的突破,又要有赋能各个产业的能力。能够有效支撑解决国家重大需求下面临的问题很重要。”


-End-