#实时语音交互

1个月前

强，人民币不到150元手搓了一套AI导盲眼镜，可以盲道导航、过马路辅助、物品识别、实时语音交互，方案开源基于ESP32，加AI模型+硬件，实现“帮我过马路”，系统就会实时播报“前方3米有斑马线，现在绿灯，可以通行” 功能可以扩展，比如新增“找公交站”功能，在 workflow_blindpath.py加代码即可其他人也能同时用手机或电脑以第一视角实时看，远程协助盲道导航，基于YOLO实时识别盲道、智能语音引导、识别障碍物并规划避障路线、识别急转弯并提前提醒过马路辅助，实时检测斑马线位置方向、识别红绿灯、引导用户对准斑马线中心、绿灯时语音提示可以通行物品识别与查找，智能物品搜索、使用YOLO-E开放词汇检测+ByteTrack 追踪、结合MediaPipe手部检测引导手部靠近物品、检测手部握持动作确认已拿到实时语音交互，基于阿里云DashScope Paraformer实时语音识别、多模态对话项目来自B站AI研究室-帆哥 #AI导盲眼镜 #AI导盲

#AI导盲眼镜 #盲人辅助 #开源项目 #B站帆哥 #实时语音交互

10个月前

OpenAI 开发者日，推出了一个实时 API 可以通过语音和3D太阳系进行实时的语音交互该项目基于 Spline（3D 设计工具）构建，使用 Function Calling 机制来触发应用中的动画和交互。结合语音 AI、WebRTC 和 3D 交互的演示项目，可用于探索太阳系，也可扩展到其他语音控制 3D 场景应用。适合开发者学习 Function Calling、WebRTC 实时交互、3D 数据可视化等技术。可定制 AI 交互方式，或更换 3D 场景，适用于教育、游戏、数据可视化等领域。

#OpenAI #API #实时语音交互 #3D太阳系 #Function Calling #Spline #WebRTC #语音AI #开发者日