短视频:大模型奥秘

llm secret

我是大模型数字主播,今天播报的题目是《大模型真经》。

尼克语录,日诵三回:“首先Church Turing thesis,其次Turing machine求逆就是所有学习,再次,所有学习可归约到ntp (next token prediction)。”

没看明白的, 再诵三回。

此乃大模型真经也!

再诵三回仍不明白的,且听分解如下。

简单来说就是,一切可计算的数据,都有个图灵自动机计算它。学习(或 模型训练)就是为制造这台自动机。而所有的学习都可以用数据驱动的GPT完成。

这就是大模型成为万能任务解锁器,成为通向AGI的不泄天机。

但天机还是泄漏了,也许上帝正好打了个瞌睡。

朋友反馈说,还是没看明白。好,咱们用老妪能解的说法试试。

首先,什么叫“可计算的数据”,就是“有规律的现象”:
有规律的现象数字化以后,就是可计算的数据。

哪些现象是有规律的呢?

其实,理论大咖们相信宇宙大部分现象是没有规律的随机现象,茫茫星际,有规律属于罕见。宇宙的本真也许就是混沌一片。

然而人类出现了,演化出文明和智能。人类的现象,尤其是智能工作的结果呈现,例如文字书籍、录音录像、艺术创造,这些人类创造物都是有规律的。例如,语言文字里面有文法和用法。绘画艺术里面有技法和风格。

把这些语言文字、音频视频等多模态的数据收集起来,灌进大模型的熔炉去炼,结果就是我们现在看到的几乎无所不能的主流大模型,以OpenAI的GPT系列为代表。

我是科技数字主播,咱们下次再见。

 

 

 

立委NLP频道

发布者

立委

立委博士,问问副总裁,聚焦大模型及其应用。Netbase前首席科学家10年,期间指挥研发了18种语言的理解和应用系统,鲁棒、线速,scale up to 社会媒体大数据,语义落地到舆情挖掘产品,成为美国NLP工业落地的领跑者。Cymfony前研发副总八年,曾荣获第一届问答系统第一名(TREC-8 QA Track),并赢得17个小企业创新研究的信息抽取项目(PI for 17 SBIRs)。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据