在平均海拔4000米的“高原高城”理塘，挖掘机正顶着寒冷缺氧的恶劣天气忙碌地施工作业。

与往常不同的是，这些挖掘机上没有驾驶员，而真正的挖掘机师傅正在数公里开外的项目中心，通过键盘鼠标远程控制机器施工的一举一动。只需鼠标轻轻一点，不管是倒土、平地，还是修坡等任务，皆在挖机师傅的掌控之中。

这支施工团队实现一系列智能化作业的背后，实际上是网易伏羲对传统挖机进行了数字化改造和升级，使挖掘机具备了远程驾驶和智能化作业的能力。

作为网易旗下的人工智能研究机构，网易伏羲从2017年成立以来，就一直围绕游戏与泛娱乐AI应用，通过研究强化学习、虚拟人、云计算平台、机器人等一系列前沿技术，除了为玩家带来新颖的游戏体验之外，同时也推出了首个元宇宙平台网易瑶台、AIGC创作平台、ACE智能引擎等落地产品。

此次瞄准工业挖掘机器人赛道，既是网易伏羲再一次打破游戏业务边界，拓宽在工业数字化领域的布局，也是其利用AI技术革新传统生产力的新一次融合尝试。

近日，36氪与网易伏羲挖掘机器人产品负责人杨小新（花名）进行了一场深入交流，在了解团队启动和开发挖掘机器人项目故事的同时，也尝试为大家剖析在这个细分的工业智能化场景背后，网易伏羲是如何思考与应对生产力革新所面临的每一次挑战。

网易伏羲挖掘机器人施工作业现场


01、从虚拟世界迈向物理真实世界

对以游戏AI起家的网易伏羲而言，人工智能技术基本能够解决虚拟世界的很多问题。因此在积累了多年的游戏AI技术和开发经验后，网易伏羲团队选择回到现实，开始思考真实物理世界中还有哪些没有被解决，同时又能利用AI能力进行革新的问题。

拥有机器人相关专业背景的网易伏羲创始团队，自然将目光聚焦到了机器人领域。“回归到传统行业，我们发现挖掘机高原作业是难度系数最高、更具有挑战性，并且对AI能力要求更高的场景之一。”杨小新谈道。

例如在四川理塘，由于地质复杂且寒冷缺氧，铁路施工十分困难，许多来此地建造铁路的工人，常常由于难以忍受严重的高原反应而无法工作，只好选择离开，导致当地一直面临着用工难、施工难、建造效率低下的难题。而理塘的案例，不过是整个西南地区铁路建设工程中的一个缩影。

因此在2021年11月，网易伏羲正式立项挖掘机器人项目。不过，网易伏羲的想法并不是直接生产挖掘机硬件，而是计划将自身在游戏产业中积累的数字孪生、视觉感知、场景重建、自动化控制、众包运营、低延时音频传输等技术能力，迁移到实体挖掘机上进行适配，也就是通过智能挖掘机系统对传统工程机械进行升级改造，由此改变传统工程机械领域的安全生产和招工难问题。

与大部分智能挖掘机创企不同的是，多年的游戏开发技术积累不仅给网易伏羲带来了原生技术优势，还能极大降低前期开发成本。

“我们并非一开始就奔着真实的挖掘机上手研发，而是在游戏里创建了一个仿真环境。”杨小新提到，仿真环境开发的好处在于，一是不用烧油，二是挖掘机在仿真环境中出现任何测试事故，都不会伤害到真实物理环境。因此，网易伏羲在游戏仿真环境里对挖掘机器人控制算法、学习算法都进行了足量训练后，才迁移到真实挖掘机上进行调试。

另一方面，多年来网易伏羲在游戏领域的场景整合、游戏化交互方式，以及游戏中模仿学习、强化学习等技术能力都在挖掘机上有很强的适用性。

例如，团队在游戏《永劫无间》中通过AI模仿学习推出了超高难度的人机对战机器人，网易伏羲将这些在游戏中积累的模仿学习能力直接迁移到挖掘机中，实现像人一样真实地挖掘。

“光挖掘的动作，我们在游戏和真实挖机上都收集了很多数据，包括挖掘机器人点哪挖哪的技能，都是通过模仿学习学来的，基于一个规则或匹配生成的。”杨小新说。

原生技术的优势大幅加速了网易伏羲在工程机器人智能化领域的探索，但这只是它从游戏世界迈向真实物理世界的第一步。


02、高原环境挑战丛生，伏羲的破局与思考

实际上，相比在城市中盖楼、挖地基、架桥，挖掘机在高原铁路、露天矿山等较为偏远的场景下工作，不仅地势极其复杂，且常处于极端或恶劣的天气环境下，还要经历高原施工过程中许多潜在的不可控危险。这一切非理想的外部条件，无疑给挖掘机器人的落地应用带来更大挑战。

首先是挖掘机施工的精准度、效率和安全问题。杨小新提到，挖掘机的上手门槛其实并不高，但如果让一个才开挖掘机两三年的小师傅去修坡、平地，大概率没法做得很好，因为这项工作需要大量的训练积累形成肌肉记忆。不仅如此，不同品牌挖掘机的液压系统不一致，也会导致肌肉记忆在新的挖掘机上难以完全适应，“甚至一台新的挖掘机和一台老的挖掘机，挖机师傅的使用力度也是不一样的。”杨小新介绍说。

针对这一难点，网易伏羲在数字孪生的学习算法方面进行了突破，通过开发挖掘机液压和动力学模型，让系统学习如何调节挖掘机的液压参数，实现不同型号挖机的快速适配，保证施工动作更加平滑、连贯和流畅，末端齿尖的控制精度可达5厘米甚至更高，满足精细施工要求。也就是说，如果在挖掘机器人的铲斗放一杯水，水在运动过程中也不会洒出。

网易伏羲挖掘机器人铲斗上的水杯测试

在上层技术方面，由于挖机师傅的驾驶操作动作重复性较高，网易伏羲将这些重复动作抽象出来，实现一键化、游戏化操作，挖机师傅仅需在远程客户端上就能完成“点哪挖哪”、一键倒土、一键刷坡、一键装车等操作，大幅提升施工效率和安全性。

伏羲挖掘机器人团队简单算了一笔账，以装车为例，挖机装一勺土大约需要15秒时间，但操作员点击一下只需1秒，就意味着一名操作员可以同时控制十几台挖掘机，实现“一人多机”智能化作业模式。同时中型挖掘机器人的工作效率堪比拥有10年经验的挖机老师傅。

此外在视觉方面，网易伏羲为挖掘机器人构建了四大视觉能力，包括常规2D视觉、双目立体视觉、激光点云，以及能够将所有数据融合的超立体感知。

这一系列视觉感知能力，既能协助挖机对环境信息进行深度场景重建，更好地提升施工精准度和效率，同时还能为隧道、悬崖施工过程中随时可能出现的侧翻、坍塌等事故，提供360全景施工监控、作业范围内行人检测、底盘倾覆预警等功能，保障施工安全。

通信是高原作业中不可忽视的另一大挑战，高原天气及环境下5G覆盖率和网络稳定性差，导致挖机远程协作易出现指令与动作不同步的问题。

基于网易云信提供的超低延时控制信令、音视频媒体传输能力、WE-CAN全球传输大网、智能传输引擎，以及超高性能高清视频编码技术，让挖掘机在网络环境较差的户外环境，也能通过远程操控进行施工作业。

通常情况下，挖机师傅只需坐在距离挖机5-10公里范围内的工地项目部，通过局域网就能在远程客户端上控制挖机。如果在极端环境，如地震情况下必须要到现场施救，挖机师傅也无需在高危情况下上机操作，可以选择在救灾地点附近的安全处用无线手柄或手机即可操控。

网易伏羲挖掘机器人的多种人机协作方式

杨小新谈到，在整个产品开发过程中，网易伏羲其实是以马尔可夫决策过程（Markov Decision Process, MDP）模型进行分解的，涉及智能体的感知、认知、决策、行动。

“挖掘机器人就是一个智能体，它的感知是输入的画面，认知是挖哪里，决策是该用什么样的力气和速度去挖，并控制液压系统。”他解释，对挖掘机器人的每个动作都进行如此分解后，整个产品会更耦合，这些能力也能更方便地迁移到其他工程机械上，提升可复制性。

利用数学决策模型对产品开发进行分解，为网易伏羲挖掘机器人带来了游戏AI能力之外的更大优势。这不仅能更好地辅助产品研发，更是对这套系统和解决方案未来迁移复制到更多设备，对更多传统工程机械进行智能化、数字化升级奠定了基础。


03、探索更多智能化技术革新生产力的样本

经过8个月开发，网易伏羲挖掘机器人的第一台样机终于在今年9月底实现落地应用，前往国家西南地区重点基建铁路项目建设，在高海拔、高温差的作业施工环境下协助高原铁路建设。这也是世界上第一台前往海拔4000米高原工地修建铁路的无人挖掘机。

与此同时，网易伏羲也与中建八局签署了战略合作协议，将利用双方的研发能力、产业规划和市场规模，共同推进数字化和智能化工程机械领域的深入合作，推进商业化落地。预计未来三年内，网易伏羲将与中建八局在无人化工程机械进行更多核心技术突破，推出多种智能建造机器人。

高原施工环境

不过，虽然网易伏羲挖掘机器人在操作上更高效、便捷，实现“会玩游戏就会开挖掘机”，但要真正实现工程高质量完整交付，还是要靠专业的挖掘机师傅。“因为只有经验丰富的挖机师傅才知道挖哪里更安全，不会影响到其他环节。”杨小新谈道，这对挖掘机器人来说也是一个持续学习进化的过程，学习专业挖机师傅是如何认知真实物理世界，并在反复实操过程中使系统更加智能。

目前，网易伏羲挖掘机器人正在探索商业化尝试，并开放生态与上下游合作。

在杨小新看来，效率是网易伏羲挖掘机器人最关注的点，既包括技术指标的效率，例如追求的是极致的效率，超低延时解决方案，甚至低于100ms的2D/3D视频传输，也包括整体施工效率，装车时间。“在测试范围内，目前一个人控制5台挖掘机是比较饱和的状态，未来我们想试试能否让一个人就能控制二十台、甚至五十台挖掘机。”他说。

未来，网易伏羲将持续探索挖掘机器人在露天矿山，以及类似西南铁路等极端天气和工作条件下的应用落地。不过，挖掘机器人只是网易伏羲在工程机械智能化领域的其中一个应用场景。

据了解，网易伏羲即将上线的实时人机协作在线任务平台“有灵”，将结合物联网技术帮助各行业快速建模、发布及运营可人机协作的任务，进一步帮助行业解决“用工荒”问题，为机器智能提供更多训练场景及数据。