立委两分钟:Token为什么越来越费电?

这两年,很多人第一次发现:

人工智能居然这么费电。

甚至开始抢电。

美国一些地方,因为AI数据中心扩建,居民电价都开始上涨。

很多人会困惑:

不就是聊聊天、
写写文章、
生成几张图片吗?

怎么突然就变成“电老虎”了?

原因其实很简单。

因为今天的大模型,本质上是在:

大规模燃烧token。

而token一旦进入“工业化生产”,耗电量会非常惊人。

第一代互联网,其实并不怎么费电。

因为互联网主要做的是:

信息传输。

你发一条微信,
看一个网页,
刷一段视频。

本质上只是:

把已经存在的信息,
从一个地方搬到另一个地方。

所以互联网时代最重要的是:

带宽。

但AI不一样。

AI不是“搬运信息”。

而是在:

实时计算。

你问ChatGPT一句话,
它并不是去数据库里“搜索标准答案”。

而是:

GPU现场重新生成。

注意这个区别。

搜索引擎更像:

查字典。

大模型更像:

现场写作文。

于是问题来了。

这种“现场生成”,计算量极其恐怖。

因为模型并不是只计算一句完整的话。

而是在:

一个token、
一个token、
一个token地往后预测。

比如你问:

“帮我写一篇关于AI的文章。”

模型其实是在疯狂计算:

下一个token最可能是什么。

然后再继续预测下一个。

直到整篇文章生成完毕。

这意味着:

AI每生成一点内容,
背后都在进行海量矩阵计算。

而矩阵计算最耗的是什么?

电。

所以今天GPU,本质上已经变成:

“token发电机”。

你消耗的不是“聊天次数”。

而是:

token吞吐量。

而更麻烦的是:

token还在指数级增长。

以前,人和AI是一问一答。

现在Agent开始出现后,事情彻底变了。

过去:

人类消耗token。

现在:

AI自己也开始消耗token。

一个Agent接到任务后,
可能会:

自己规划、
自己搜索、
自己写代码、
自己测试、
自己报错、
自己修复、
自己重试。

于是,一个任务背后,
可能不是几十次token调用,

而是:

几千次、
几万次。

而且很多token,
人类甚至根本看不见。

它们发生在机器内部。

这就像什么?

很像工业革命。

最开始,人类烧煤,
只是为了冬天取暖。

后来突然发现:

煤不仅能取暖,
还能驱动工厂、
火车、
轮船、
炼钢厂。

于是煤炭消耗量开始爆炸。

今天token也一样。

最初,大家只是拿ChatGPT聊天。

现在开始:

让AI自己干活。

于是token开始从“聊天消耗”,变成“工业燃料”。

这也是为什么现在全世界都在疯狂建设:

数据中心、
发电厂、
核电、
天然气轮机。

因为AI最后拼的,
已经不仅是算法。

而是:

谁有能力持续、稳定、低成本地“燃烧token”。

很多人以为AI公司是软件公司。

其实越来越像:

新型能源工业公司。

互联网时代流动的是bit。

AI时代真正被疯狂燃烧的,

可能是token。

https://youtu.be/lCBvg24ez1s

(这是今天的立委两分钟,谢谢收看,再见。 by Tuya)

发布者

立委

立委博士,多模态大模型应用咨询师。出门问问大模型团队前工程副总裁,聚焦大模型及其AIGC应用。Netbase前首席科学家10年,期间指挥研发了18种语言的理解和应用系统,鲁棒、线速,scale up to 社会媒体大数据,语义落地到舆情挖掘产品,成为美国NLP工业落地的领跑者。Cymfony前研发副总八年,曾荣获第一届问答系统第一名(TREC-8 QA Track),并赢得17个小企业创新研究的信息抽取项目(PI for 17 SBIRs)。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理