#小模型

3周前

目前个人测试中文效果最好的端到端文档识别小模型是腾讯的 POINTS-Reader（比小红书的dots.ocr 还要好一些）。做了如下小小的工作： 1. 合并了官方的PR到sglang 0.5.3 版本，可以高效推理。 2. 基于TRL的模型训练代码，可以进行训练。训练只需要图片和对应的markdown文本。

深度学习模型升级引发AI能力大跃进，行业迎新变革· 106 条信息

#腾讯 #POINTS-Reader #文档识别 #小模型 #sglang

4周前

小模型不是 Agentic AI 的未来，小模型只配给 Agent 当工具现阶段 Agent 的主要问题不是成本过高，而是智能不足，所以做不好任务，所以需要浪费很多 Token。不能拿小模型在特定环境特定任务 RL（强化学习）后的结果来当证据，这不代表其在真实任务中的能力，这就是为什么一堆模型靠训练测试集刷很高分，但是实际一用很垃圾的原因。真实世界的任务是很复杂的，用户的请求总是千奇百怪，Agent 的核心能力是能充分理解用户的需求，去规划去调用合适的工具收集上下文完成任务。这样的核心能力连大模型都做不好，更别说现在的小模型，再怎么微调也无法提升 Agentic 能力。但不是说小模型没用，它作为 Agent 的工具是挺好的，可以低成本高效的完成一些特定任务。举个例子来说你要做一个翻译的智能体，你可以用 Claude 4 负责任务的规划拆分，去调用工具，但具体翻译文本，可以用一个开源的小模型帮你翻译。

#Agentic AI #小模型 #大模型 #任务规划 #智能不足

2个月前

利用好LLM 的prefix特性，用小模型先回复，然后大模型续上，LLM 首句延迟可以大幅降低到100ms级别。今天vibe coding 的成果之一：

#LLM #prefix特性 #小模型 #大模型 #首句延迟

2个月前

Seed-X：专门用于翻译的小模型字节开源Seed-X，专门用于翻译的小模型，仅7B大小，在人类评分中，翻译效果接近DeepSeek R1和Gemini Pro 2.5的水平。值得一提的是，训练过程特意去掉了STEM、代码、推理的相关数据，特别专注于翻译任务。模型：

#Seed-X #翻译模型 #字节跳动 #开源 #小模型

3个月前

谷歌开源Gemma 3n 端侧运行的小模型，分2B和4B大小，支持文本、图片、音频输入，文本输出。首个在LLM竞技场获得1300的10B以下模型。官方介绍：模型：

OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 558 条信息

Google Gemini 2.5发布引发AI模型性价比热议· 222 条信息

#谷歌 #Gemma 3n #开源 #端侧运行 #小模型

3个月前

在voice agent场景下为了响应快，会先用一个小模型做一下承接语(返回一些语气词或者附和语)，然后再等待大模型真正的返回。这个时候有个痛点是：TTS在合成单字或者短句的时候往往效果不好，比较好的一个策略就是TTS也能支持流式的输入。

OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 558 条信息

#语音助手 #小模型 #TTS流式输入 #用户体验 #技术优化

4个月前

Dia的安装包有470M, Chrome只有200M，这是塞了个小模型吗

#Dia安装包大小 #CHROME #小模型