biantaishabi5 0 关注者 关注 5天前 经国务院授权的全国科学技术名词审定委员会,在《计算机科学技术名词(第三版)》《语言学名词》中,正式审定NLP/大模型场景下的token为词元,tokenization为词元化,成为国内科研、教学、出版的强制规范。 复旦大学计算机学院邱锡鹏教授最早将NLP场景下的token译为词元。 前往原网页查看