By Ingrid Fadelli
2023-08-14
点击量：
动作捕捉(mocap)系统是一种可以检测和记录人类、动物和物体运动的技术，被广泛应用于各种环境中。例如，它们已被用于拍摄电影，制作具有逼真嘴唇和身体动作的动画，用于交互式视频游戏机，甚至用于控制机器人。
俄罗斯斯科尔科沃科学技术研究所(Skoltech)的研究人员最近开发了一种新的动作捕捉系统，可以实现更安全、更有效的人机交互。该系统是在arXiv上预先发表的一篇论文中提出的，它基于可穿戴机器人系统和摄像头来跟踪用户手臂的运动。
“这项工作是智能空间机器人(ISR)实验室在人机交互领域多年研究的结果，”该项目的主要研究员阿里·阿拉巴斯(Ali Alabbas)告诉Tech Xplore。“人机交互处理人类和机器人共同参与的协作任务，因此在此类应用中，人类操作员的安全是重中之重。这项工作是建立在我们实验室以前开发的经验和技术的基础上的。”
这组研究人员介绍的动作捕捉系统的灵感来自于他们之前开发的两项技术。第一个是名为CobotGear的系统，它使用一个6自由度的可穿戴摄像头来跟踪人类手臂的运动。第二个是CoHaptics，它利用触觉(与触摸相关的)反馈，向用户提供他们与机器人的距离信息，并在机器人非常接近他们时提醒他们。
Alabbas解释说:“我们的工作目标之一是开发一种低成本且易于安装的动作捕捉系统，该系统可以在工作环境中检测和定位用户的手，采用支持CobotGear功能的算法，以避免机器人与用户在从事协作任务时发生碰撞。”“拟议的动作捕捉系统是基于视觉的。它使用摄像头和计算机视觉来定位附着在用户手上的独特视觉机器人标记(我们动作捕捉系统的目标)。”
机器人集中太阳能发电或仿生襟翼在奔驰概念车AVTR气动调节中的应用。
动作捕捉系统的一个常见限制是它们可能受到闭塞的不利影响。换句话说，如果系统跟踪的视觉标记部分或全部隐藏在物体后面，系统就无法再跟踪它。Alabbas和他的同事们开始着手解决这一限制，通过降低闭塞的风险。
“我们的想法是开发一种可以移动标记的机制，确保它始终对动作捕捉系统可见，”Alabbas说。“我们的解决方案是制造一个小型可穿戴机器人，它可以握住标记并具有旋转能力。”
这组研究人员创造的系统是基于一个用户应该戴在前臂上的机器人。这个机器人以不同的方式移动标记，确保它始终保持在集成摄像机的视野范围内。
“通常，动作捕捉的反向反射标记是球形的，因为如果从不同的角度拍摄，它们的大小是一样的，”Dzmitry Tsetserukou教授说。“另一方面，你需要在人体上放置许多标记，并安装昂贵的红外摄像机来消除除球体以外的所有可见物体，因此动作捕捉系统可能要花费数十万美元。我们提出了ArUcoGlide，这是一种经济实惠且强大的解决方案，可以通过低成本的单摄像头跟踪人体运动，甚至可以通过触觉提示与用户运动对话。”
ArUcoGlide机器人非常轻，重量不超过一块简单的手表。这意味着它可以很容易地被用户佩戴，而不会引起他们的不适。机器人系统拥有一个由摄像头定位的独特标记，提供有价值的反馈，旨在防止人机交互过程中的碰撞。
“该系统由三部分组成:一个可穿戴机器人标记，一个跟踪系统和一个避碰控制器，”Alabbas说。“我们称之为ArUcoGlide的可穿戴机器人拥有一个独特的视觉标记，并调整该标记的方向，以确保其对相机的可见性，并解决环境中物体遮挡的问题。在危险情况下，机器人还可以以振动的形式提供触觉反馈。我们建议在相机和标记之间保持一个固定的方向，这样可以减少由于用户移动而导致标记不显示的时刻。”
该团队的动作捕捉解决方案的第二个组成部分是跟踪系统，由摄像机和基础计算机组成。摄像机可以实时捕捉人类与机器人合作的场景。然后，该流由基础计算机处理，以提取环境中标记的坐标。
“第三个组件，防撞控制器，最初是作为我们之前开发的CobotGear系统的一部分引入的，”Alabbas说。“这个控制器控制机器人的运动，以避免在工作空间中与用户的手发生潜在的碰撞。”
基本上，团队的系统工作原理如下。摄像机记录了人类和机器人合作的环境。AucoGlide机器人调整用于跟踪运动的标记的方向，确保它始终保持在相机的视野范围内。最后，碰撞控制器移动机器人以防止其与用户接触。
Tsetserukou解释说:“简而言之，标记在空间中与2自由度机器人一起滑行，以连续捕捉身体运动。”“如果标记是静态的，即它不调整空间位置，跟踪系统将在相对于相机的非常陡或浅的角度上失去它。当人类的安全是重中之重时，它就不适用了。”
研究人员在一系列实验中评估了ArUcoGlide，测试了其跟踪系统的准确性，系统如何在即将发生碰撞之前影响人类和机器人的行为，以及它在现实世界协作任务中的表现。他们发现，它显著提高了人机交互的安全性，将用户的手和机器人之间的距离保持在平均5厘米。
该系统可以在各种现实环境中有效地增强人机协作。例如，它可以帮助正在移液血液样本的医务人员。
Tsetserukou说:“当人类手臂靠近机器人时，我们的系统可以检测到它，并启动避碰算法，这样机器人就不会伤害到用户。实验证明，在大范围的运动中，人类手臂的跟踪精度是亚厘米。”重要的是，该系统具有移动ArUco标记和触觉反馈，可将共享医疗测试过程加快16%。
值得注意的是，该团队的动作捕捉系统还可以适应特定应用的需求。例如，如果用户希望改变它正在监控的环境，他们只需要将其运动跟踪摄像头移动到所需位置并重新启动系统。
“该系统被设计用于共享工作环境，让人想起仓库或实验室的典型活动，”Alabbas说。“例如，它可以安装在实验室里，机械臂可以和化学家一起准备一些溶液，加快过程，保护用户免受有毒物质的接触，”阿拉巴斯说。
“化学家的注意力肯定集中在材料上，所以我们的系统，通过监测工作环境，可以始终定位化学家的手，并尽量避免机器人与其相撞。ArUcoGlide是非常合适的，因为它的成本效益和易于安装;用户只需要将摄像头固定在合适的位置，就能探测工作环境，穿上ArUcoGlide运动鞋，然后开始工作。”
ArUcoGlide可能很快就会在更广泛的场景中实施和测试，以验证其改善人机交互的潜力。在接下来的工作中，Alabbas、Tserserukou和他们的同事们希望进一步发展这项技术，使其能够跟踪用户的整个身体。
“我们计划开发GlideSuit，这是一个将机器人标记放置在全身的系统:手臂、手、腿和躯干。Tsetserukou说。“ArUco标记将在人体上同步移动，与相机的光轴保持正常。”
这个更新版本的ArUcoGlide可以用一个摄像头实时跟踪用户的骨骼。此外，它还可以支持增强现实(AR)应用，例如允许用户可视化人体的器官或肌肉，或者看到不同的衣服穿在身上的效果。
Tsetserukou说:“想象一下拍摄一段视频，视频中一个移动的人手持虚拟的3D鸟。”ArUcoGlide不仅可以用于人类，也可以用于机器人。放置在无人机的顶部，天花板上只有一个摄像头，我们可以跟踪一群机器人，并控制它们的队形进行灯光表演。另一个有趣的应用是舞蹈教学和康复，当我们用触觉反馈指导人类在3D环境中获得理想的肢体轨迹时。”
-
美国陪审团称迪士尼欠60万美元的动作捕捉版权审判里尔登指责迪士尼在《美女与野兽》中滥用技术。诉讼称，迪士尼使用了“被盗”版本的面部捕捉软件美国加州一个联邦陪审团周四裁定，迪士尼应为其在2017年翻拍真人版《美女与野兽》时使用了另一家公司的动作捕捉技术，
2023-12-25 行业新闻 -
《杀出重围》主角亚当·詹森的签名配音演员也想做动作捕捉By Ted Litchfield 在《人类革命》中。伊莱亚斯·图菲西斯完成了《人类分裂》的全部表演。不要让网上的软件告诉你不同的说法：5英尺11英寸和6英尺1英寸之间的差距并没有那么大。然而，演员Elias Toufexis最近
2023-11-14 行业新闻 -
《博德之门3》导演解释为什么每个NPC都是Mo-Capped8月25日，动作捕捉导演阿利奥娜·巴拉诺瓦在推特上解释说，如果没有近数百名演员勤奋的动作捕捉表演，拉里安工作室的《龙与地下城》角色扮演游戏《博德之门3》就不会有今天。“对于我们录制的几乎所有对话，我们
2023-10-23 行业新闻