#机器人控制

karminski-牙医

1个月前

有人已经开始尝试把大模型装到玩具上了哈哈哈看到个博主Complex-Indication使用树莓派 Zero 2 的摄像头采集图像，然后使用wifi上传到电脑，电脑使用 SmolVLM 来识别图像，再将控制命令传回去进行控制。不过刚开始完全不能运行，不过他用200张图微调了下模型，挂了个LoRA后，机器人就能走了！他使用的 prompt 是这样的（我翻译成了中文）：根据图像选择以下一项行动：前进，向左，向右，后退。若视野被障碍物阻挡，则选择后退。若左侧有障碍物，则选择向右。若右侧有障碍物，则选择向左。若没有障碍物，则选择前进。根据图像选择以下一项行动：前进，向左，向右，后退。若视野被障碍物阻挡，则选择后退。若左侧有障碍物，则选择向右。若右侧有障碍物，则选择向左。若没有障碍物，则选择前进。

#大模型 #玩具应用 #树莓派 #图像识别 #SmolVLM #微调模型 #机器人控制 #LoRA #机器学习