FengLika: 华为 HDC2021 的手语翻译火了，为什么「她」可以如此心灵手巧？

2021年11月1日星期一

华为 HDC2021 的手语翻译火了，为什么「她」可以如此心灵手巧？

由硬及软的华为，需要被重新理解。

10 月 22 日华为开发者大会 2021（Together）在东莞松山湖正式开幕，华为在主题演讲中正式发布了全新的多终端、跨 OS、全场景的华为移动核心服务能力 HMS Core 6，与开发者共建共享共赢 HMS 新生态。但它不仅仅属于开发者，还可能属于我们每一个人。软件基础技术离我们的距离，其实并不遥远。

HMS Core（华为移动核心服务）是华为软硬件开放能力的合集，它运行在操作系统之上，供应用调用各项开放能力，提供丰富多样的服务。作为 HMS 生态组成的重要部分，HMS Core 连接开发者与用户，在赋能开发者高效开发，应用创新的同时，提升用户体验。

如果以盖房子来比较，华为在此提供了砖、瓦、混凝土、钢筋、卡车、玻璃等等建筑材料和工具，至于是盖成乡间木屋，还是郊区别墅亦或是市中心百货大楼，则由开发者来决定。

虽然 HDC2021 是主要面向开发者的大会，但也有不少出圈的新闻，比如那位伴随大会直播的手语翻译，和之前我们在电视台左下角看到的真人翻译不同，这次华为派出的翻译却是一位「数字人」，「她」真正做到了心灵手巧，心灵是源自「机器翻译算法」，手巧则来自「多模态数字人生成算法」。

这位手语翻译并不仅仅是华为最新技术的展示，还是能够普惠到众多开发者的基础技术，只要开发者愿意，就可以和华为一样，在自己的应用里面也安排一位类似的手语翻译。

这位手语翻译，就是刚刚发布不久的 HMS Core 6 当中一个重要能力的具体体现。

到了 2021 年，HMS Core 6 早已经跳脱出了为手机应用开发的局限，那么局限之外，它的舞台还能拓展到哪里？

HMS Core 6 能帮开发者做什么？

明白 HMS Core 6 是什么之后，我们就可以琢磨，它能干什么？手语翻译是本次 HMS Core 6 能力的一个具体体现，实际上它背后的技术叫做 SignPal Kit，既然后面有个 Kit（工具套装），那么就意味着开发者可以用它做更多的事情。简言之，手语服务（SignPal Kit）提供手语生成能力，可以将文本实时翻译为流畅、自然且符合听障群体表达习惯的手语动作数据，帮助构建信息无障碍创新应用。

比想象中更严重的是，世界卫生组织最新数据显示，全球大约有 4.66 亿人患有残疾性听力损失，几乎超过全世界人口的 5%，因此，帮助这些人也能轻松使用电子产品，实现信息无障碍几乎是各大企业重要的社会责任之一。SignPal Kit 是授人以渔的工具，但完成它其实并不简单，先华为完成了自研预训练语言大模型、机器翻译算法、多模态数字人动作生成算法，同时携手信息无障碍研究会，以及北京师范大学教育学部合作，融合手语语言学专家知识，实现连贯、自然手语身体姿态，手势动作和表情的生成。

目前它已有 10000 多个词汇量，准确率也超过了 90%，并且开发者还可以自定义 3D 人物形象，表达出自然流畅，符合人类习惯的手部动作、身体姿态和面部表情。

3D 建模能力（3D Modeling Kit）则是 HMS Core 6 另外一个重要更新，其实 3D 建模能力并不算新，但这次不同之处在于，仅需普通 RGB 相机，通过手机便可高效生成 3D 模型。

其中的关键是降低了「门槛」，前几年在不少科技展会上，我已经见过不少 3D 扫描和建模设备，它们无不笨重且昂贵，但如今仅仅靠一部普通的智能手机，加上这个 3D Modeling Kit，就能够支持物体背景分割，重建出的模型没有背景，边缘更清晰干净。这个能力最容易理解的场景应该就是购物应用，现在想看一件商品的全貌，要么是配上八九张图片，要么是拍一段视频，现在生成一个 3D 模型就能够立体展示商品了。当然这个能力也不仅仅局限于购物场景，很多游戏道具的建模往往也基于现实物品再进行重绘，3D Modeling Kit 自然也可以方便游戏开发者。

HMS Core 6 利好游戏开发者的新能力还有几个：AR 环境光照跟踪、Computer Graphics Kit（图形计算 kit）和 Scene kit（图形引擎）。

如果说，3D 建模能力是让真实的更真实，那这几个新能力就是让虚拟的也能真实起来。在 AR 体验中要实现沉浸感，就需要虚拟物体与真实物体的视觉一致性，不然就会让人出戏。华为 AR 环境光照跟踪则率先实现了厘米级的虚实融合能力，它能估算环境光照情况，结合渲染引擎，能够让 AR 虚拟出来的物体和真实物体有一样的光影效果。

Computer Graphics Kit（图形计算 kit）则首次在移动端实现了动态光雾效果； Scene kit（图形引擎）首次在移动在移动设备上应用了光线追踪技术，模拟真实世界的光线反射折射效果，之前开发者头疼的场景，比如湖面倒影，镜面反射都能模拟出来。同时， Scene kit（图形引擎）提供的真实感还包括 3D 模型碰撞、坠落和旋转的效果，还可以提供泛光、景深、运动模糊等后处理特效，总之，很多时候，图形问题其实是物理问题，物理问题最后，又是数学问题。

在华为 P50 系列发布会上，有一个提升信号的技术叫做 AI 异构通信技术，作为华为一直以来的技术领先区域，这个技术也随着 HMS Core 6 一起开放给所有开发者，帮助用户获得高速稳定的网络体验，这个体验涵盖了 WiFi 和移动网络。举个例子，我的游戏要更新了，更新包有 2G，如果没有接入 AI 异构通信技术里面的 Network Kit，在 4G 网络下可能要下十几分钟，但是有了 Network Kit，通过多线程下载，智能分片算法，就能加快下载速度，通过透明压缩技术，就可以减少下载数据量，二者叠加，最后可能几分钟就下载好了。而且进入到游戏之后，这个技术也能发挥作用，让游戏网络延迟降低不少，只要自己的手跟得上脑子，那手机响应就能跟得上手。

HMS Core 6 作为一次大更新，其新能力多种多样，靠一篇文章肯定难以涵盖，但前面讲了那么多，其实方向只有一个：用实际能力，帮助开发者解决实际问题，最终提升用户体验。比如音频编辑 Kit 能将音频不同组成部分渲染到指定的空间方位，实现最新的空间音频效果；Petal Maps Platform 车道级引导功能可以让导航更精准更人性化；安全芯片模组及模组可信管理服务可以帮助数字人民币受理环境，让交易安全快速……

在这诸多能力当中，有一些是解决老大难问题的，比如信号和网速问题；而有一些则是面向未来跨平台跨设备的，比如超低门槛的 3D 建模能力，AR 环境光照跟踪等等；还有些兼具二者也有公益性质，比如手语服务和数字人技术。

如果以数字孪生的视角来看，HMS Core 6 甚至都可以套用到「元宇宙」的概念中去。

之前，我们就写过《元宇宙需要「基建狂魔」》，记录了不少在这个概念初期为元宇宙做基础建设的厂商们，比如 Unity、英伟达、Epic 等等。我们的核心观点就是，如果谈 30 年后元宇宙的切实体验，那抱歉现在给不了。如果谈一谈通往其愿景路上某一个很小的实现条件，那技术人员很可能就能给一个可行的方案。最终很多条件逐渐达成的时候，那里元宇宙体验也不远了。

这是一个聚沙成塔的路途。

但是，有时候聚沙，聚着聚着，最后还是一盘散沙。这就需要各种开发工具，将一粒粒沙子，有效地聚在一起，最终成型。

元宇宙不缺概念，不缺愿景，但缺算力、缺高速低延迟网络，缺平台，缺内容，可以这么说，HMS Core 6 中的低门槛 3D 建模，实时手语直播+数字人、AR 环境光照跟踪、移动设备光追技术、Petal Maps 这些技术，无不可以为元宇宙这个概念贡献未来内容，成为基础的能力。

未来太远，HMS Core 6 有何现实意义？

很多人有一个基本的误解，就是元宇宙约等于虚拟现实，这个虚拟的空间和现实世界关系不大。

但其实，在技术专家看来，在它的具体实现过程中，纯粹的虚拟空间只是其中一部分；与物理世界的有机结合，也就是通常人们说的 CPS 赛博物理系统，或者数字孪生，能够更加精确的表达技术走势和技术以人为本的初心。

归根结底，物理空间的一切对象，包括对象的属性、行为和之间的关系，都需要经过数字化建模映射到赛博空间，使得物理空间成为赛博空间内可被计算的对象。但是更重要的是，赛博空间内的计算结果还需要映射回物理空间，从而起到加强人类现实世界能力的作用。

因此，如果我们不谈未来概念，只谈互联网技术的一个核心发展逻辑，其实就是「使得物理空间成为赛博空间内可被计算的对象，加强人类现实世界能力」。

在这个发展过程中，有无数个需要解决的问题，覆盖的区域。比如手机动画，从最开始的线性动画，到现在符合人们直觉感受，符合真实世界物理规律的非线性动画，就是进步的例证。

那么，从平面 2D，到立体 3D 的模型，可以提升购物应用的体验；AR 环境光照跟踪和移动设备光追技术则有助于创造更棒的移动游戏体验，让手游不再只是搓屏幕…

而实时手语直播+数字人则具有两种意义上的普惠性：帮助残障人士更好地体会科技发展的成果，帮助开发者服务好这一人群。HDC2021 上心灵手巧的手语翻译，可以存在于每一部手机当中。

如果说「使得物理空间成为赛博空间内可被计算的对象，加强人类现实世界能力」这句话太宏大的话，那么手语直播+数字人技术，就是这句话的恰当例证。华为 HMS Core、开发者和用户一起，以微小但重要的路口，进入到了这个宏大的命题当中。

当这样的例子越来越多，HMS 的生态也便初有模样。

截至当前，华为全球注册开发者数量超 510 万，全球集成 HMS Core 的应用超过 17.3 万个。在 Web 应用、快应用，以及 Android、HarmonyOS 等的应用和服务上，在手机、平板、智慧屏、智能手表及车机上，都有 HMS Core 的身影。

这一次 HMS Core 6 一共在 Graphics、Media、AI、App Services、System（图形、媒体内容、人工智能、应用服务和系统）五大领域进一步开放了创新能力与特性，全新推出 9 个 Kit。和 HarmonyOS 的快速奔跑类似，现在的 HMS Core 总共覆盖了七大领域，69 个 Kit，给开发者群体提供了丰富的助力，当然，这些能力最终服务的还是大众用户。

如最开始所言，HMS Core 提供砖、瓦、混凝土、钢筋、卡车、玻璃等等建筑材料和工具，帮助开发者盖房子，但其实我们也可以想象一下，HMS Core 6 推出的能力，或许可以帮助开发者修路了，做精装修了，做景观设计了，那么 HMS 生态的想象力，也就不局限于一栋栋房子的集合，而是可能是一个生机勃勃的城市，甚至是一个更精彩纷呈的宇宙。