学习时报刊文:大模型厂商卖词元,卖的究竟是什么?
今年“双11”期间,一个看不见的商品在直播间里卖得火爆——词元(Token)。多家电商平台将词元作为独立品类上架销售,消费者既可以按需购买一定数量的词元使用额度,也可以通过包月、包年等方式订阅相关服务。据统计,“双11”开售首日,天猫词元品类成交额环比增长450%。词元正从专业计量单位,变成普通人可以下单、可以“囤”的消费品类。那么,大模型厂商卖词元,卖的究竟是什么?词元作为一种新的消费内容和消费方式,又会给消费者和市场带来哪些问题?
根据国家数据局定义,词元是大模型处理信息的最小信息单元。在大模型运行过程中,输入的文本、图像、代码、音频、视频等会按照一定的分词规则被转化为词元序列,大模型以这些被切分出来的词元为单位进行解析、运算、推理与输出,用户每一次与大模型的交互都以词元的消耗为基本前提。因此,词元实际是大模型认知世界的基本单元,是其运转的核心“燃料”。目前,产业界已开始将词元称作“人工智能时代的通用货币”,认为词元之于人工智能,如同千瓦时之于电力、吉字节(GB)之于通信流量,强调词元不仅是人工智能服务的计量单位、结算单位和统计单位,而且是衡量智能社会智能服务消费规模与算力资源配置效率的核心指标。
那么,词元何以成为商品?依据马克思主义政治经济学基本原理,商品是使用价值与价值的统一,二者根源于生产商品的劳动所具有的二重性。词元作为大模型处理信息的计量单位,其商品属性应从其所计量的智能服务中加以理解。就使用价值而言,词元所计量的智能服务能够满足用户在信息处理、知识获取和内容生成等方面的需要,其实际效用取决于大模型的技术能力和服务质量。就价值而言,智能服务的价值来源于生产和提供服务过程中耗费的社会必要劳动,其中既包括研发、训练和运维等环节投入的活劳动,也包括芯片、服务器等生产资料中转移的既有价值。由于词元是在模型调用过程中即时生成的,无法像实物商品一样预先生产和储存。因此,服务商“卖词元”,卖的实际上是以词元数量计量的智能服务;而消费者“囤词元”,囤的实际上是未来一定期限内的智能服务使用权利。
随着词元以充值、订阅等形式进入大众消费视野,有一些问题值得关注。一是计价标准不统一。不同大模型采用的词元切分规则存在差异,同一文本在不同模型中可能对应不同的词元数量,例如“人工智能”四个字,有的模型切为一个词元,有的模型切为两至三个,有的按字切分,有的按词切分。这就会导致以词元计价的服务价格缺乏直接可比性,增加消费者的比价成本,也容易使企业在计量规则和定价方式上做文章,偏离以模型性能和服务质量为核心的竞争方向。二是词元消费的权责边界尚不清晰。目前,面向普通消费者的词元销售主要采用按量充值和定期订阅两种方式,二者在性质上都属于预付式消费。由于智能服务具有无形性和即时性,消费者在付款时难以充分判断服务质量,预付式消费的风险也更加突出。三是词元消耗量与智能服务的实际效用存在偏离。词元消耗量反映模型处理信息的数量,却不能直接衡量智能服务的质量。对于同一任务,更多的词元消耗可能带来更好的结果,也可能导致重复生成、无效推理和失败重试。在按词元数量计费的模式下,消费者需要为实际消耗的词元付费,却未必能够获得与支出相称的服务效果。
词元商品走上货架,意味着智能服务正在像水、电、网络一样成为人类生产生活的基础资源。这一转变既反映了人工智能应用从专业场景向日常消费的加速渗透,也提出了如何让词元供给有序、价格合理的新课题。应在划定标准、明确规则、树立导向等方面入手,推动词元经济健康可持续发展,更好地服务新质生产力发展和人民对美好生活的向往。
第一,尽快形成相对统一的计量标准。一是统一尺度。要由相关部门、标准化机构与产业界协同建立统一的计量口径、计价单位,改变计量计费由大模型厂商自行设定的局面,使市场价格信号建立在可比的基础之上。二是形成相对统一而非绝对划一的标准。同为一百万词元,旗舰模型与轻量模型所提供的智能服务质量相去甚远。可以探索建立基准文本和换算系数,按模型能力分级分档,做到同档可比、异档可辨。三是及时开展信息披露。目前,已有运营商推出统一算力量纲,尝试将不同模型的词元消耗折算为标准积分。应在总结现有探索的基础上,推动团体标准向行业标准、国家标准升级,为词元服务的市场定价和公平竞争提供依据。
第二,切实保护消费者合法权益。不同于电表、水表安装在用户可以查看的位置,词元计量主要在服务器内部完成,一次大模型调用消耗多少词元、账单依据何在,普通消费者既难以知晓,更无从核验。对此,应完善用量查询、账单明细、超额提醒和消费限额等机制,保障消费者知情权和选择权。同时,严格落实《中华人民共和国消费者权益保护法实施条例》关于预付式消费的有关规定,明确服务商的履约和退款责任,防止擅自降低服务质量、变更收费标准。此外,部分电商和二手平台上存在代充值、接口中转等服务,其中隐藏着以低配模型冒充高配模型、泄露用户数据等风险,需要加强平台治理和监管执法,守住数据安全与消费安全的底线。
第三,以正确价值导向引导词元经济健康发展。一是始终站稳人民立场发展词元经济。智能服务承载的是社会共同积累的知识成果,智能服务的广泛应用应当惠及全体人民,在市场竞争中推动服务价格合理下降的同时,降低老年人、农村居民和小微经营主体的使用门槛,防止形成新的“智能鸿沟”。二是引导树立正确词元消费观。词元调用量被视为人工智能产业发展的“晴雨表”,但消耗本身并非目的。对个人消费者而言,应根据实际需求合理购买,避免盲目囤积。对企业和地方而言,不能把词元消耗量简单等同于业绩,要防止为消耗而消耗。三是推动词元消费绿色低碳发展。随着模型调用规模扩大和推理任务日趋复杂,数据中心的能源消耗可能持续增长。应通过优化推理算法、减少重复运算等方式提高算力利用效率。
内容来自 澎湃新闻 - 首页头条,版权归原作者所有。
阅读原文 ↗