全身Animoji吗?智能技术使用iPhone摄像头跟踪身体运动(视频)
2022-05-20 点击量:
BY LUKE DORMEHL




忘记那些只会动的头像吧:卡内基梅隆大学的一个团队想要给全世界带来全身表情符号。作为卡内基梅隆大学人机交互研究所未来界面小组的主任,克里斯·哈里森的工作是帮助创造未来的计算机功能。


在本周发布的最新演示中,哈里森的团队提出了一种方法,通过估计你身体的其他部分在做什么,让普通iphone只使用前置摄像头就可以进行全身跟踪。


它的效果出奇的好。


哈里森告诉Cult of Mac网站说:“智能手机无法看到整个身体,所以我们必须聪明一点,结合多种传感器数据来源来做出准确的估计。”“更具体地说,我们融合了来自前后摄像头、面向用户的深度摄像头(苹果称之为TrueDepth摄像头)、惯性测量单元(IMU)和触摸屏的数据。这些不同的传感器提供不同的线索来判断身体的姿势。例如,(它们可以告诉我们)用户的手臂在哪里,或者他们是否正在走路。”


这款名为“摆姿势行走”(pose -on- go)的系统可以让iOS开发者使用全身姿势构建应用程序。“摆拍”不需要穿电影动作捕捉风格的服装,只需要今天的iphone上已经安装的传感器即可。然后智能算法将这些信息融合在一起。结果可以准确地估计用户的姿态——即使是在运动中。



从游戏到全身Animoji


“这仍然是一个估计,软件可能会被骗,但总体来说还是相当不错的,”哈里森说。“我们将我们的系统与好莱坞级别的动作捕捉系统进行了基准测试,在所有关节上——头部、手臂、腿部——平均误差[仅]20.9厘米。”


在一个令人印象深刻的演示中,该团队展示了一个人慢跑到一堵墙前,然后蹲下。追踪甚至没有漏拍一拍。


Harrison继续说道:“我认为游戏有很多用途,从能够计算你的重复次数并提供高质量反馈的运动应用,到让你奔跑,跳跃和躲避的全身游戏体验。“我们为自己制作的一款应用是一款幻想游戏,玩家可以用手来施放咒语。另一个可爱的演示是全身Animoji,用户可以挥手、跳舞、四处走动。”


未来iPhone的杀手级应用程序?


这有可能被应用到未来的iPhone中吗?目前还没有关于这方面的消息,而且,就目前而言,这只是一个概念的证明。然而,未来接口集团是硅谷公司关注的研究实验室之一。哈里森的前学生已经在一些科技巨头工作,包括苹果公司。


但即使苹果没有正式采用这项技术,这并不意味着你不会在未来的iPhone应用程序中看到它。“我们计划为我们的大部分代码提供开源版本,”Harrison说。“考虑到这都是软件,不需要新的硬件或加密狗,这可以作为软件更新在许多现代智能手机上实现。”


研究人员在本周的美国计算机学会(ACM)计算机系统人为因素会议上展示了“行走姿势”。你可以在这里阅读一篇描述这项工作的论文。

青瞳视觉编译,其目的是为了将更好的内容分享给更多人,版权依旧归原作者所有。若有涉及侵权请予以告知,我们会尽快在24小时内删除相关内容,谢谢。
标签: