社会上独居长者的数量日益增长，使得用于长者照料的机器人的需求愈加庞大。 这个种子 项目旨在使用人类的自然语言去控制移动机械手，完成移动和抓取多种物品等操作，使得 传统的机器人具备理解自然语言指令的能力，增强对机器人的控制并扩展其用途。 研发方 法涉及自然语言处理、计算机视觉和多模态、视觉导航、机器人抓取等技术的综合运用。 人类的自然语言指令将通过大语言模型进行理解和分析，将其转换为机器人可以具体执行 的低级动作指令和代码。 计算机视觉和多模态技术将使用视觉语言模型，获取机器人周遭 的物品、位置等环境信息，作为分解自然语言指令的外部信息输入。 视觉导航用于识别目 标物品的空间位置并引导机器人行驶至目标位置。 基于视觉的机器人抓取用于定位目标物 体并控制机械手进行目标抓取。 这项研发工作可以极大提升现有的对机器人的控制方式， 使其更加广泛地应用于居家、乐龄/残障人士照顾、物流等行业。