模型下的内容

问：模型支持的TOKEN数量是模型本身的限制还是调用模型的程序限制的呢？答：模型会有上下文窗口长度限制，AI聊天应用也会有会话长度限制。举例来说你的模型最大上下文窗口长度限制是 128K，但是通常应用程序不会让你输入的内容到128K，可能输入内容最多16K就不让你输入了，因为这个上下文窗口长度是针对输入和输出加起来的长度，所以要留一些空间给输出。另外输入内容越长，模型生成的质量会下降， 问：模型支持的TOKEN数量是模型本身的限制还是调用模型的程序限制的呢？答：模型会有上下文窗口长度限制，AI聊天应用也会有会话长度限制。举例来说你的模型最大上下文窗口长度限制是 128K，但是通常应用程序不会让你输入的内容到128K，可能输入内容最多16K就不让你输入了，因为这个上下文窗口长度是针对输入和输出加起来的长度，所以要留一些空间给输出。另外输入内容越长，模型生成的质量会下降，成本也会增加很多，所以应用要限制最大输入的长度。 #模型 #TOKEN数量 #限制

“AI 让知识平权”就是一句骗人的鬼话，真实情况就是： - 加速了用 AI 和不用 AI 之间的不平等 - 加速了因为封号+防火墙不能用强模型的不平等 - 加速了舍得花钱用最好模型的和不舍得花钱的不平等 - 加速了善用 AI 和不善用 AI 的不平等

o3-mini是专门在代码问题上微调的。r1同时在代码和数学题上微调。这个例子显示，r1的代码能力并不如o3-mini。DeepSeek并没有“魔法”，技术上也未超越OAI。数据决定模型，RL也是。