立委两分钟:Token为什么越来越费电?

这两年,很多人第一次发现:人工智能居然这么费电。甚至开始抢电。

不就是聊聊天、写写文章、生成几张图片吗?怎么突然就变成电老虎了?

因为今天的大模型,本质上是在大规模燃烧token。token一旦进入工业化生产,耗电量会非常惊人。

互联网是信息传输。AI是实时计算。搜索引擎像查字典,大模型像现场写作文。

模型是一个token一个token地往后预测。每生成一点内容,背后都是海量矩阵计算。

今天GPU本质上已经变成token发电机。你消耗的不是聊天次数,而是token吞吐量。

Agent出现后,AI自己也开始消耗token。几千次几万次,人类根本看不见。

像工业革命。煤从取暖变成驱动工厂火车轮船。token从聊天变成工业燃料。

全世界疯狂建设数据中心发电厂核电。AI拼的不再是算法,而是谁能持续稳定低成本地燃烧token。

AI公司越来越像新型能源工业公司的分支。互联网流动的是bit,AI燃烧的是token。

这是今天的立委两分钟,谢谢收看,再见。 by Tuya

发布者

立委

立委博士,多模态大模型应用咨询师。出门问问大模型团队前工程副总裁,聚焦大模型及其AIGC应用。Netbase前首席科学家10年,期间指挥研发了18种语言的理解和应用系统,鲁棒、线速,scale up to 社会媒体大数据,语义落地到舆情挖掘产品,成为美国NLP工业落地的领跑者。Cymfony前研发副总八年,曾荣获第一届问答系统第一名(TREC-8 QA Track),并赢得17个小企业创新研究的信息抽取项目(PI for 17 SBIRs)。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理