机器人领域的大趋势是把控制权交给生成式AI模型，但这带来了一个问题：这种架构不像传统算法那样可预测。你如何确保你崭新的仿人机器人是安全的？
丁兆（Ding Zhao）博士几乎在他整个职业生涯中都在研究这个问题，他领导着卡内基梅隆大学的Safe AI实验室。现在，他与资深创业公司高管Kyle Wong和机器学习工程师Simo Rachidi一起创立了一家旨在解决这个问题的公司——Safeworld。
“我们所说的安全挑战是两方面的结合：其一，是真正先进的生成式AI概率评估——你如何为一个概率系统承保风险？”赵说。“第二个真正困难的部分是信任问题，而部署一台机器人两者都需要。”
Safeworld 今日走出隐身模式，宣布完成超过12百万美元的种子轮融资，由Shine Capital和a16z Speedrun领投，Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors和SV Angel参投。
“在机器人正在被设计和部署的当下，正是建立行业安全标准的时机，”a16z Speedrun合伙人Jonathan Lai告诉TechCurnch。“等到机器人进入家庭、撞到孩子并造成安全事故时，那就太晚了。”
Safeworld的专长是在填充了逼真人类模型的仿真环境中评估机器人控制系统。这类似于Tesla或Wayve等公司面临的挑战，它们必须确保其车辆对道路上可能遇到的各种意外情况做出恰当反应。但赵认为，这对机器人来说会更困难，因为它们在非结构化环境中工作，而且它们所在的每个场所都会有不同的安全标准。
“最常见的场景之一是，在这个特定工厂里有一个视线死角，”Wong说。“你需要怎样的速度或制动距离，才能确保这个机器人不会与特定的人相撞？比如，如果一个人正搬着箱子，机器人能否检测到这个人？”
为了回答这个问题，Safeworld将在Genesis或MuJoCo等模型中构建那个角落的数字版本，插入正在评估的机器人的仿真体——由其真实软件驱动——然后运行数千个人类模型与机器人相遇的场景。赵表示，这比看起来更难，因为人的行为是不可预测的。
“绊倒和跌倒也是我们在仿真中做大量测试的一个好例子，”Wong说。“否则，你就得亲自跑到机器人面前去绊倒摔倒，而一直这样做是很难的。”
Safeworld正在构建的平台与机器人制造商内部使用的工具确实有相似之处。不过，创始人们相信，除了他们的专业能力之外，机器人制造商还会希望有第三方来验证他们的工作，哪怕只是为了在竞争者之间共享安全案例的信息。
“很多人低估了这些边缘案例的解决难度，”赵说。“我们担心的不是真空环境中、演示中的机器人。而是大规模部署、面对可能从未操作过机器人的人们的机器人。”
Gritt Robotics的首席技术官 Vishal Dugar目前正在为机器人开发AI大脑，这些机器人如今帮助工人在工业规模太阳能电站安装光伏板，并渴望承担更复杂的建筑任务。他的公司正在与Safeworld合作开发安全仿真。
“我们大多数系统的困难之处在于，很难通过做一些数学、写一些方程式来正式证明‘是的，这个系统已验证是安全的’，”Dugar说。“这必然需要通过实证方式来完成。”
他的机器人与人类工人并肩工作，确保机械臂不会撞到人显然是重中之重。要在实践中验证这一点，就需要考虑各种潜在的情境。
“人类有多种多样的外观，”Dugar指出。“他们的身体可以处于不同的姿态。他们可能跪着、站着。他们可能会绊倒摔倒。他们可能蹲着。他们可能奔跑。你必须对这些场所中人类可能表现出的所有行为做出反应，还要考虑人类外观的各种变化，比如衣着、体型、形状、身高、肤色等等一切。”
无论是Safeworld还是机器人领域的生成式AI，现在都还处于早期阶段，公司仍在确定其产品的最佳模式——是面向外部用户的平台，还是基于服务的方式？——但团队确信他们正在解决的是正确的问题。
“我们很可能会成为这个领域第一家盈利的公司，”赵说。“因为任何想要部署的人，都需要付费请我们来处理这些问题。”