项目页面展示了机器人听从指令推箱子、跟随人、坐上椅子，以及侧身穿过半开的门、俯身或爬行穿过桌底等动作。这些任务需要机器人理解周围环境，并根据空间条件调整身体姿态。

　　执行任务时，HALO由三个层级协同控制。最上层是基于视觉语言模型（VLM）的任务编排模块，默认采用千问Qwen3.6-35B-A3B，在机器人搭载的Mac mini上本地运行，与动作生成器共用模型服务引擎，无需联网即可工作。系统也可选择通过API调用云端模型，以获得更强的推理和规划能力。

　　这一层需要处理指令中的模糊信息，并根据环境安排动作。例如，“坐下”没有明确指定目标，需要机器人从眼前场景中判断坐在哪里；“坐到椅子上”在路径畅通时可以直接执行，但如果有桌子挡路，就需要拆成俯身通过、接近椅子、坐下等连续子任务。任务编排模块通过机器人视角的视频持续观察环境，判断当前动作是否成功，并据此推进计划或重试，每次向动作生成器下达一个明确的子任务。

　　中间的动作生成层采用另一款千问模型Qwen3.5-2B。研究团队将其作为参数冻结的编码器，与负责生成动作的DiT解码器配合，根据机器人看到的画面和当前子任务，规划未来约5秒的全身动作。这一层每秒重新规划约3次，使动作计划能够随环境变化持续更新。

　　底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器，以每秒50次的频率运行，结合深度图像和机器人自身状态，将动作计划转化为关节控制指令。

　　三个层级分别承担任务安排、动作规划和身体控制，协同完成从理解指令到执行动作的过程。