3月25日,全国科学技术名词审定委员会发布公告,将人工智能领域Token的中文名定为“词元”。
fT7E46fKDB5JyDr9eITT/g==在语言模型中,Token是文本经过切分或字节级编码后得到的最小离散单元。在“词元”这一定名中,(试读)...