问:模型支持的TOKEN数量是模型本身的限制还是调用模型的程序限制的呢? 答:模型会有上下文窗口长度限制,AI聊天应用也会有会话长度限制。 举例来说你的模型最大上下文窗口长度限制是 128K,但是通常应用程序不会让你输入的内容到128K,可能输入内容最多16K就不让你输入了,因为这个上下文窗口长度是针对输入和输出加起来的长度,所以要留一些空间给输出。 另外输入内容越长,模型生成的质量会下降,成本也会增加很多,所以应用要限制最大输入的长度。
问:模型支持的TOKEN数量是模型本身的限制还是调用模型的程序限制的呢? 答:模型会有上下文窗口长度限制,AI聊天应用也会有会话长度限制。 举例来说你的模型最大上下文窗口长度限制是 128K,但是通常应用程序不会让你输入的内容到128K,可能输入内容最多16K就不让你输入了,因为这个上下文窗口长度是针对输入和输出加起来的长度,所以要留一些空间给输出。 另外输入内容越长,模型生成的质量会下降,成本也会增加很多,所以应用要限制最大输入的长度。
迈克 Mike Chong
20小时前
其实我觉得用AI和控制自己的命运这两件事是相反的。 自己的命运就是要给自己更多的可能性,要主动。 但是控制AI就是要给它更多的限制,本质是朴素贝叶斯决定的。 两个是比较相反的。
Mr Panda
4天前
有意思了, 前天只出现了4o, 现把之前的模型都放出来了
李老师不是你老师
4天前
目前,抖音切换城市定位功能已无法将城市定位到四川