• 简体   /   繁体
Token为什么叫“词元”-发明与创新(下旬刊)2026年06期

Token为什么叫“词元”

字体:      

3月25日,全国科学技术名词审定委员会发布公告,将人工智能领域Token的中文名定为“词元”。

fT7E46fKDB5JyDr9eITT/g==在语言模型中,Token是文本经过切分或字节级编码后得到的最小离散单元。在“词元”这一定名中,(试读)...

发明与创新(下旬刊)

2026年第06期