立委NLP频道

我是数字主播小雅，今天《立委两分钟》节目的话题是大模型时代的痛。目前在上海召开的人工智能大会，也提到了这个话题。

这次不谈技术，也不科普，专门谈谈大模型时代带来的问题，主要是两点，一个是真假莫辨；另一个是被模型吃掉的工作岗位。都是沉重的话题，但都是进行时，问题只会越来越严重。

生成式AI的到来，也就意味着真假莫辨时代的到来。现如今，无论文字、音频还是视频，随着大模型的普及，深度造假（deep fake）的门槛无限低。耳听为虚，眼见也一样可能是虚。有什么信息可以相信呢？社会似乎并没有为此做好准备。

更闹心的是就业市场受到的冲击。几乎所有的白领工作，都面临大模型的挑战。AI结合机器人（所谓具身智能）的方向也在加速度发展，再过几年，蓝领的工作也面临类似的挑战。

最近几个月在美国，身边不少年轻人失业了，有好几个是伯克利data science毕业的学生。一方面AI大厂如英伟达、苹果、微软等市值不断攀升，另一方面包括大厂在内的IT裁员风潮也一波接着一波。不是 hard core engineering 的数据科学专业生，冲击很大，所以很多年轻人对大模型有怨气。这才刚刚开始。名校毕业生也一样两极分化。非常可怕的AI碾压人工的潮流，data science 是重灾区。

曾几何时，在大模型之前，全美国都有预见，说未来最大的需求是数据科学，每个企业、产品，无论大小，都对数据工作有极大的需求。于是，各大学都开始增加 ds 的 programs，校内极速扩张这个介于电脑和统计之间的学士、硕士课程，各种网上的课程和学位也满天飞。结果，大模型来了，数据分析、总结和渲染都比人做得既快又好。非常可怕的AI碾压人工的潮流，data science 是重灾区。

美国做教授的老友说，数据科学杀掉了统计，人工智能杀掉了数据科学。现在高等教育里还有一个潮流，叫micro credentials, 各种证书。大量的half baked potatoes 就会抢占工作市场，真正全方位科班出身的人反而找不到工作。这些拿了证书的技工把工作都占了，是不是对正式毕业生不公平？ 学生怎样会有动力学习？各种研究生教育有什么用？

问题尖锐，但不好回答。局面只会越来越糟。人类的心理承受、社会的应对，都是慢了几拍的。但技术却滚滚向前。

大模型来了后，很多教育其实是不必要的，传统教育的知识传授已经没有多少实质意义了，因为知识是招之即来，问之即答。大模型做辅导，比多数讲师教授还强。其实，教育和学校更大的功能现在就是一个蓄水池，稳住那些无业也找不到工作的人，推迟进入职场，给人一种虚假的对未来的希望。

国内也是同样。很多本科毕业生开始读硕士，不少硕士开始读博士，不是因为不断高读在他们的人生规划中，而是无法面对毕业失业的现实，不得不用升造来逃避。但水涨船高，职场的要求越来越高，而职位却不增反减。核物理博士毕业进街道办，博士出来做辅警，汉语毕业出来扫大街，诸如此类，恶性循环。

AI 也许真应该缓行。但没人能阻挡技术的内卷外卷。人类跳不出自己的怪圈。以职业生涯（career development）作为指挥棒的社会传统意识和价值观，必须改变，但改变需要很长的时间和配套的机制，这些都看不到任何靠谱的方案和行动。

处在漩涡中心的大模型产业也卷得惨烈。上一次移动技术革命在衣食住行、娱乐通信这些刚需领域已经做到了 极致，出现了一批超级应用，美团、滴滴、微信、抖音、拼多多等。剩下的知识和艺术工作属于高端需求，写文章、作曲儿、画个画、做个视频、用个秘书，大多是锦上添花。也许有一天这些高端需求会成为刚需，但在目前很像是伪需求，因此规模化落地应用就显得格外困难。

现在被认可的真需求是什么？有企业老板说得好：你显示给我看，用了你的AI，我可以裁员多少？那才是刚需。

问题是，通用大模型可以免费或白菜价来使用，根本没有多少大模型创业的机会。而大模型的降本增效所引起的裁员已经开始。只有那些特别定制的AI，能够帮助企业进一步裁员，才有活路。

最讽刺的是，以前被尊为打工贵族的码农，也首当其冲。在横扫了 data science 工作后，cs 的毕业生中比较平庸的，也在工作被铲除的路上。美国作为IT超级大国，多少年来在培养程序员方面一直有缺口，本国毕业的cs学生填不满，只好大量留用印度、中国和其他国家的毕业生。这样的好日子，也快到头了。

我不认同一个流行观念，说以前的技术革命消灭了一些工作，也创造了新的就业，所以大可放心，这次也会如此。时代不同了，大概率不会如此。必须认清消灭的岗位比创造的岗位，会多得多。虽然美团外卖小哥、滴滴司机是上一次移动平台技术扫荡了实体店以后产生的新工作，但看看这些最低工资的工作岗位的内卷情况就知道，就连这些工作也是僧多粥少，大家都在挣扎。人工智能的 Robo Taxi 的到来，会逐步消灭滴滴司机。
生产效率的提高一定伴有大量的失业，产业机构改变，也有失业。很多这种失业人员，基本没有希望东山再起。所谓结构性失业，大批中年人，只能等退休。除非奇迹发生，年轻人的就业问题也越来越严峻。人类必须改变和面对的是，不工作是常态，UBI 必须建设。

UBI制度（Universal Basic Income，全民基本收入）必须提上日程，这是因为生产力和GPT并不因为就业人员的急剧萎缩而降低，反而得益于技术革命而在稳步或快速增长中。两极分化必须遏制，必须防止技术革命的红利为少数人独占。否则国将不国，球将不球，人类将非人类。

我是小雅，上面播报的是《立委两分钟》的有角度的沉重思考，谢谢聆听，咱们下次再见。

llm secret

我是大模型数字主播，今天播报的题目是《大模型真经》。

尼克语录，日诵三回：“首先Church Turing thesis，其次Turing machine求逆就是所有学习，再次，所有学习可归约到ntp (next token prediction)。”

没看明白的, 再诵三回。

此乃大模型真经也！

再诵三回仍不明白的，且听分解如下。

简单来说就是，一切可计算的数据，都有个图灵自动机计算它。学习（或 模型训练）就是为制造这台自动机。而所有的学习都可以用数据驱动的GPT完成。

这就是大模型成为万能任务解锁器，成为通向AGI的不泄天机。

但天机还是泄漏了，也许上帝正好打了个瞌睡。

朋友反馈说，还是没看明白。好，咱们用老妪能解的说法试试。

首先，什么叫“可计算的数据”，就是“有规律的现象”：
有规律的现象数字化以后，就是可计算的数据。

哪些现象是有规律的呢？

其实，理论大咖们相信宇宙大部分现象是没有规律的随机现象，茫茫星际，有规律属于罕见。宇宙的本真也许就是混沌一片。

然而人类出现了，演化出文明和智能。人类的现象，尤其是智能工作的结果呈现，例如文字书籍、录音录像、艺术创造，这些人类创造物都是有规律的。例如，语言文字里面有文法和用法。绘画艺术里面有技法和风格。

把这些语言文字、音频视频等多模态的数据收集起来，灌进大模型的熔炉去炼，结果就是我们现在看到的几乎无所不能的主流大模型，以OpenAI的GPT系列为代表。

我是科技数字主播，咱们下次再见。

• 不可错过，奇妙元小范介绍尼克的最新演讲，探寻大模型的理论基础与渊源（中文版，英文字幕）

【立委NLP频道】

• 李维 郭进《自然语言处理答问》，商务 2020

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

6.99 10/15 bnQ:/ [email protected] 6月26日-English https://v.douyin.com/i6MbUvKH/ 复制此链接，打开Dou音搜索，直接观看视频！
Click this link: https://v.douyin.com/i6MbUvKH/

I am AI Xiao Fan, Nick's secretary, and today I'm reporting on Nick's latest lecture "Solomonoff: The Prophet of Large Language Models".

Nick needs no introduction. Besides his many roles as an entrepreneur, investor, scholar, and philosopher, he is best known for his bestselling book "A Brief History of Artificial Intelligence", which became a sensation, sold out quickly, won numerous awards, and became a legend in China's AI publishing world. We all boast about getting his autographed copies.

The following is a concise and accessible explanation of his lecture.

Let's get to know this mathematical genius with a Santa Claus-like white beard - Ray Solomonoff! Born in 1926 and passed away in 2009, this mathematical and physics double major who "mixed" his degree at the University of Chicago was no ordinary academic overachiever. He was a pioneer of independent research, using mathematical formulas to predict the future, even more impressive than fortune tellers!

Welcome to the 'old child' battle in the scientific world! On the left is Wiener, the 'godfather' of cybernetics. In 1948, he and Shannon simultaneously published groundbreaking papers, but with very different viewpoints! Wiener said: 'Control is the way', while others became infatuated with the little "demon" called 'information'. Shannon and McCarthy were like-minded, both not optimistic about Wiener's cybernetics. McCarthy even played a word game, turning 'Automata' into 'AI', ushering in a new era of artificial intelligence!

Now let's look at the 'prequel' of the AI world! Before the AI feast of the Dartmouth Conference, the big shot McCarthy was secretly writing the 'script'! His article "The inversion of functions defined by Turing machines" wasn't about how to use Turing machines backwards. This 'heavenly book' was actually discussing how to design a super problem-solving machine. McCarthy's imagined divine machine could solve all clearly defined intellectual problems. Isn't this the prototype of AI?

At the Dartmouth Conference, McCarthy and Solomonoff, these two 'mathematical knights', engaged in a fierce 'battle of ideas'! The topic? It was McCarthy's 'heavenly book'. The two hit it off and discovered an earth-shattering secret: the inverse problem of Turing machines is actually a learning problem! This discovery tightly bound AI and machine learning together! From then on, AI was no longer just about computation, but took a big step towards 'learning'. At this moment, the future of AI was completely rewritten!

"Let's look at the 'brainstorming' moments of two 'mad scientists'! First is the French mathematician Borel, who conducted a logical experiment, imagining a group of monkeys randomly hitting typewriters, eventually producing the complete works of Shakespeare! Isn't this the infinite monkey theorem?
On the other side, the Argentine literary giant Borges conceived a 'perfect library' in his short story, containing all possible combinations of books.
These two ideas are simply the prophets of AI and big data! Borel and Borges, one using mathematics, the other literature, were both imagining the sequential possibilities of information."

"At the Dartmouth Conference, Solomonoff, like a magician, pulled out a mysterious typescript 'Inductive Inference Machine' from his hat. This move captivated everyone! Scientists who were originally obsessed with neural networks all 'defected' and embraced symbolism. But look at this dramatic twist! Years later, it was the 'abandoned' neural networks that truly realized Solomonoff's induction! This is like a fairy tale in the tech world - Cinderella finally put on her glass slipper and became the star of the AI ball!
Solomonoff's idea was like a seed planted, eventually blossoming in unexpected places."

"Let's look at the 'roller coaster' history of the AI world! Connectionism, once an 'abandoned baby', is now the 'star' of the AI world!
Imagine this as a long relay race. At the start, there was the perceptron inspired by neurons, fearless like a newborn calf. But it soon met its 'Waterloo' with the so-called XOR problem of single-layer neural networks, and was 'banished' by the big shots.
However, in the 1980s, multi-layer neural networks and the BP algorithm emerged out of nowhere, injecting new life into connectionism. Now, deep learning is at its peak, and connectionism has made a 'dramatic comeback', becoming the 'top flow' in the AI world.

"Let's look at Solomonoff's 'magic moment' in 1960!
The first magic, minimum description, refers to compressing data in the most concise way. This idea later developed into 'Kolmogorov complexity', that is, K-complexity, becoming the core of large model theory.
The second magic, prior probability: the initial estimate of the possibility of an event occurring without specific information.
These two concepts seem simple, but contain profound insights. They provide a whole new perspective for us to understand information, complexity and learning, directly influencing the later development of artificial intelligence and machine learning"

In 1961, AI guru Minsky wrote an important article mentioning concepts such as machine theorem proving, neural networks, machine learning, reinforcement learning, etc., which was simply the secret manual of the AI world! He cited 95 references, 4 of which were Solomonoff's, showing his high regard for Solomonoff. Interestingly, it was neural networks that first realized Solomonoff Induction, which is an unexpected twist!

In 1964, Solomonoff published a groundbreaking paper titled "A Formal Theory of Inductive Inference". This paper can be considered the "secret manual" of the AI field, detailing how to describe inductive reasoning using mathematical language. Simply put, it's about learning patterns from data to predict the future! This paper is Solomonoff's "masterpiece" on inductive reasoning, establishing his status in the machine learning field.
The second part of Solomonoff's paper gives examples of applying the formal theory of inductive inference to different problems. One of these examples is grammar discovery, that is, how to learn the grammatical rules of a language from observed language data. This example, in today's view, is the problem of language learning, i.e., how machines learn language like humans do. Solomonoff also discussed a deeper question in the paper: Is language equivalent to thought? This question still doesn't have a clear answer today, but Solomonoff's research provided us with a new perspective to think about this question.

Solomonoff developed a strong interest in how scientists discover things and tried to find a universal method of scientific discovery. This interest led him to start researching inductive reasoning and eventually propose the concept of algorithmic probability.
In his academic career, Solomonoff applied inductive reasoning to fields such as language learning, achieving important results.

Soviet mathematician Andrey Kolmogorov is known as the "universal mathematician". In the field of computer science, he mainly has two major contributions:
Kolmogorov Superposition Theorem (K-A-N): This theorem is related to the famous Hilbert's 13th problem, involving function representation and approximation.
K-complexity: This is a method of measuring information complexity. It defines the complexity of an object as the length of the shortest program that can generate that object.
In addition, Kolmogorov had unique insights into cybernetics and information theory. He believed that cybernetics lacked inherent unity, but expressed agreement with information theory. This view is consistent with those of Shannon, McCarthy, and others.

Kolmogorov thought that information theory was like a hodgepodge, with three different approaches:
Counting School: Like rolling dice, looking at how many times a certain number appears.
Building Blocks School: Focusing on the number of building blocks and how to combine them.
Programming School: Viewing information as a program, with shorter programs being simpler.
K-complexity is the representative work of the "Programming School". Simply put, it measures how complex something is by how short a program is needed to describe it.
Interestingly, K-complexity and Solomonoff induction are actually talking about the same thing. Solomonoff induction believes that simpler things are more likely to occur.

Chaitin was a prodigy, publishing his first paper in IEEE Transactions on Electronic Computers at the age of 18. At 19, he independently rediscovered the ideas of Solomonoff and Kolmogorov in a paper published in JACM.
Starting from Berry's paradox, Chaitin believed that naming an integer is equivalent to writing a program that can output this integer. Most integers can only be named by directly printing themselves, with no more concise representation method. These integers are viewed as "random" under the framework of Kolmogorov complexity because their complexity is comparable to their length. Chaitin's view is consistent with Kolmogorov's idea, both emphasizing that most objects (or integers) are incompressible, i.e., their complexity is comparable to their length. This means they have no simpler representation method and cannot be concisely explained.
This inexplicability or randomness is ubiquitous in nature. For example, most DNA sequences, physical constants, and natural phenomena have no obvious patterns to follow and cannot be explained by simple formulas or theories. On the contrary, explicability (i.e., phenomena that can be described or explained in a concise way) only appears occasionally.
Leonid Levin proved two theorems in a two-page paper published in 1972:
Theorem 1: NP-completeness, i.e., the Cook-Levin theorem, which made an important contribution to the development of computational complexity theory.
Theorem 2: A generalization of Kolmogorov complexity.

Charles Bennett proposed the concept of logical depth, which considers the running time of the shortest program needed to generate an object. The parameters of large language models can be seen as the amount of information stored internally in the model. Therefore, it is reasonable to compare model parameters to K-complexity. It is also reasonable to compare the inference time of large language models to logical depth.
Ming Li is a distinguished professor at the University of Waterloo who has made outstanding contributions in the fields of information theory and bioinformatics. He extended K-complexity from a single sequence to two sequences, which can measure not only the information within a single sequence but also the information between two sequences. This is of great significance for universal large models to define universal tasks and complete various tasks through unsupervised learning. His book "An Introduction to Kolmogorov Complexity and Its Applications", co-authored with Paul Vitanyi, is considered a classic in the field and has had a profound impact on the development of information science.
Marcus Hutter is a computer scientist with a background in physics. He proposed the AIXI universal artificial intelligence framework and believes that language modeling is essentially compression. He applied Solomonoff induction to explain agents and reinforcement learning, believing that the learning process is a compression process, and is dedicated to researching universal artificial intelligence.
In his Berkeley lecture, Ilya, the former soul figure of OpenAI, revealed the connection between supervised learning and unsupervised or self-supervised learning. Ilya claimed that he independently came up with the idea in 2016 that all supervised learning can be reduced to self-supervised learning, tracing back to compression theory based on K-complexity. Ilya firmly believes that simple autoregressive GPT models can demonstrate super intelligence on super large data.
Let's review the timeline of model development: The deep neural Transformer architecture was proposed in June 2017, and the BERT model was proposed in October 2018. OpenAI's GPT series models started from June 2018, successively launching GPT, GPT2, and GPT3, now up to GPT4, becoming the industry mainstream.
To summarize, the first step of Solomonoff induction is to collect observational data. The second step is to form hypotheses to explain the data: hypotheses can be a Turing machine or a data-driven large model. The third step is experimental verification. If the data falsifies, return to step 2 to form new hypotheses.
Large models follow Solomonoff induction's approach to train models and their inferential applications.

Looking back at the entire history, perhaps it's not that theory lagged behind practice, but that it was too far ahead.

I am Xiao Fan, Nick's digital secretary. Thank you for following Nick's journey to explore the theoretical origins of large models and the historical changes in AI. We'll meet again.

• 不可错过，奇妙元小范介绍尼克的最新演讲，探寻大模型的理论基础与渊源（中文版，英文字幕）

【立委NLP频道】

• 李维 郭进《自然语言处理答问》，商务 2020

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

我是AIGC频道数字主播小雅，今天播报的立委两分钟的题目是“两种复杂度”。
我们要区分两种"复杂度"。一种是 Kolmogorov 复杂度（K氏复杂度），它指的是描述一个对象所需的最短指令的长度。另一种是模型复杂度，它指的是机器学习模型本身的参数数量或者灵活性（模型的大小）。
当我们说数据的最简洁表示就是 K氏复杂度时，我们指的是第一种复杂度。K氏复杂度衡量的是数据的内在信息量（类似于以前所说的深层结构、语义表示），并非数据的表面形式。比如，一个看似随机的字符串，如果它实际上是由一个简单的程序生成的，那么它的 K氏复杂度就很低。换句话说，K氏复杂度反映的是数据的规律性和可压缩性。
当一个机器学习模型的参数过多，灵活性过高时，它可能会过度拟合训练数据中的噪声，导致在新数据上的泛化能力下降。这时我们说模型过于"复杂"，需要通过缩小模型的规模或使用正则化等技术来限制其复杂度。
一个好的无监督学习模型应该能学习到接近数据的 K氏复杂度的表示（所谓无损压缩的理想）。也就是说，模型应该能抓住数据的内在规律，用尽量简洁的方式来表示数据，而不是简单地记住数据的表面形式。
这一点为什么重要？
换句话说，不懈追求无损压缩的理想为什么是获得智能的关键？
信息的无损压缩（注意不是指传统的表层模态形式的无损压缩，例如音乐的无损压缩只是形式的无损压缩，与这里讲的信息内容的无损压缩不同）以达到K氏复杂度为天花板。换句话说，任何数据对象的K氏复杂度等于是该对象的深层语义。在深层语义的层面，不同数据的相同的语义就可以自然对齐，从而帮助实现不同数据的相互转换。这是对作为压缩器的大模型能够完成任何端到端AI任务（即逼近任何函数）的信息论意义上的解释。
形式之间的转换作为智能任务，无论是机器翻译，还是文生图，图生图，文生音乐，文生视频，图生视频，看图说话，等等，都有一个预设。那就是输入和输出具有类似的意义，即有可以相通或对齐的K氏复杂度。
完全不相干的形式无法转换和映射，也就不会具有相同的K氏复杂度。例如心电图与交响乐，就不兼容。它们各自的K氏复杂度对于对方等同于随机噪音，没有 shared 信息可以作为映射的依据。当我们说大模型像个魔术师，可以把任何形式转换成任何其他形式。其实里面蕴含了一个前提，就是转换的形式之间有可以对齐或意义兼容的 shared 深层结构，在意义空间它们是可以相互关联的。这个预设通常不需要特别明示，因为这是不言而喻的，而且在实际的AI应用中，人类想要模型帮助达成的某个智能任务，会自然而然遵循这个预设。否则，那个胡乱转换的智能任务指令就是一个不可理解的目标。人类自己都不理解目标是什么的话，也就谈不上是个正经的“任务”，也无法给出达成目标的任何黄金标准。
当通用大模型把 input pattern 和 output pattern 都能压缩得很好的话，二者在意义空间的对应关系就剩下一层窗户纸了。大模型在多语言机器翻译上的成功是上述解说的最典型的显现。
对于一个数据集C做压缩，目标当然是C的K氏复杂度，模型F的复杂度必须恰到好处，F不能太大，也不能太小。太大，譬如 模型规模大于数据集，就 overfitting，就无法逼近K氏复杂度。太小，模型“吃不下”数据，也不能做到好的压缩。scaling law 虽然是个经验法则，但理论规定了大模型与大数据之间适配边界，具体的适配比例，决定于实际效果的实验。
我是小雅，每次两分钟，分享立委先生对于AI大模型的有角度的思考。谢谢聆听，咱们下次再见。

【相关】

• 李维 郭进《自然语言处理答问》，商务 2020

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

9.46 [email protected] 09/17 mQK:/ 科普 # aigc https://v.douyin.com/ijouUSBq/ 复制此链接，打开Dou音搜索，直接观看视频！

https://v.douyin.com/ijouUSBq/

我是AI大模型频道小雅，今天播报立委先生的短评《介绍监督学习的数学原理》。
Open AI 前灵魂人物伊利亚曾经在伯克利给了一个 talk。这是注定载入史册的一次演讲，阐释非监督学习的GPT突破原理。这个演讲的开头部分讲的是监督学习（supervised learning）的数学原理。咱们今天先从这个比较容易的知识点开始讲起。
说的是数据大模型大就是模型强的道理。暴力美学，美就美在，大即是美。插一句，这与唐代的审美观貌似相若：肥即是美？嘿嘿...
说监督学习的数学保证，意思是，足够大的数据，足够多的参数，就会有足够高的精度。伊利亚为了怕“过拟合”（overfitting），特别强调了 数据规模必须大于模型规模这个业内常识。“过拟合”的时候，训练误差虽然小，但测试误差降不下来。如果要让训练误差反映模型的实际能力（即测试误差），这是一个必要条件。否则，模型根本就不用做真正的抽象或“压缩”，不去找规律，它就全部死记硬背了。我们知道死记硬背的模型，缺乏泛化能力。它在训练集上可以考高分，但到了盲测的时候就抓瞎了，模型的质量得不到保证。所以给出的原理公式里面必然有模型大小这个变量，事实上这是一个决定性因素。数据量的增长会导致偏差指数级下降，保障模型质量的持续上升。
伊利亚说监督学习没有问题，有理论上的保证。所谓理论就是那个统计学习的Hoeffding 不等式，说的是，随着训练样本数量增加，测试偏差超过一定阈值的概率会呈指数级下降。其主要含义是：当训练数据足够大，训练误差足够低，且训练数据远大于模型规模的时候，模型的泛化能力和精度是有保证的，这就是监督学习能够起作用的理论基础。
这个其实我们早就知道了，第一，宏观上和理论上，“万能近似定理”（UUniversal Approaximation Theorem）早已论证了深层神经网络可以逼近任意函数。这其实是 scaling law 的源泉。第二，当代 AI 历史上，12年前的深度学习革命就开始证明，只要有足够带标数据，神经网络就可以让“老母鸡变鸭”，或做任何其他变换。
但具体说来，为什么大模型一直强调“大”呢（模型大就是模型参数多），但现在似乎又在强调不能太大？那是因为数据超大的时候，模型不大，就消化不了。前大模型时代的传统机器学习就有这个问题。传统机器学习算法总体而论复杂度不够，模型过小，你给再多的数据也没用，它肚子小，吃不下，质量很容易达到一个点就基本 stuck there 了。深层的神经网络在原理上解决了这个问题，你总可以根据你的数据来决定需要多大多深的网络来适配才最佳。这是大模型之所以要大的一面。但也不能太大，要与数据规模拉开距离。换句话说，大数据必须大于大模型，这才是 scaling 的有效适配。
ChatGPT 出来的时候，模型参数与模型数据是一个量级的，其实现在看来是某种过拟合了。GPT4 超过 ChatGPT3.5 的一个很大的原因，可能就是因为调整了这个比例。
我是小雅，上面分享的是立委先生每次几分钟关于大模型的有角度的思考，希望对您有启发，咱们下次再见。

【相关】

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

我是科技频道小雅，今天播报立委先生的短评《谈谈端到端》。

端到端（end to end）的扬名天下是伴随深度学习革命而来。那是十多年前的时候，那时候大模型还没有诞生，但深层神经网络已经革命了，表现在解决了端到端的监督学习（supervised learning）的问题。这一波监督学习的大革命横扫了图像、语音与机器翻译。但在多数NLP任务上遭遇了瓶颈。
就是说，可以把深度学习看成一个黑盒子，任何AI智能定义都可以在这个盒子的两端定义输入和输出。解决了监督学习指的是，只要有足够大的输入和输出的对齐数据，即所谓带标数据（labeled data），深层神经网络就可以搞定它。这与前深度学习时代不同，以前的传统机器学习算法是搞不定的，即便有海量的对齐数据，因为学到了某点就 stuck there，不像深层神经那样的大肚子有消化力。深度学习可以搞定，背后有著名的万能近似定理，意思是，只要数据足够大，模型参数足够多，多层神经网络的精度理论上可以持续提升。

但是在大模型（LLM，Large Language Model）出现之前，只有监督学习搞定了端到端定义的任何AI任务，而缺乏带标数据的非监督学习还是搞不定。多数NLP任务，例如信息抽取、问答等都属于此类，这就是所谓带标数据的NLP知识瓶颈。

基于transformer架构的大模型的出现，尤其是 GPT的 next token prediction 的自回归学习突破了这个知识瓶颈。从此，非监督学习也可以搞定端到端定义的AI任务了，横扫了NLP各个任务，包括机器翻译、文摘、问答、聊天、辅助写作等。近几个月，多模态数据加入了大模型以后，同样的架构和原理也基本搞定了文生图、图生图、文生音乐、看图说话、文生视频、图生视频，等等等等。

基本上，对于一个多模态大一统的大模型，只要有足够的多模态的原始数据，任何模态理论上可以转换成任何其他模态。端到端于是成为大模型在大数据上完成各种AI的一个最典型的任务定义方式。

这是怎么搞定的呢？背后的理论是 K氏复杂性定理（Komogorov complexity），又叫所罗门诺夫归纳法（Solomonoff induction），伊利亚的伯克利讲演通篇就是在说这个道理：非监督学习，与监督学习一样，可以搞定任何端到端的智能任务。如果有足够的（不需要标注的）原生数据（raw corpora）的话，GPT 可以自动去做对齐，最多是加上一层薄薄的少样本（few shots）的模型微调来触发这种对齐。

总结一下，端到端是定义AI任务的万能范式。深层神经网络在足够大的数据支持下可以搞定端到端的任务。具体说，监督学习需要足够的带标数据支持，非监督学习需要足够的原生数据支持。大模型属于非监督学习搞定AI的最新主流。这是因为原生数据可以真正规模化，非监督学习（其实是“自监督”学习）自然唱起了主角。

我是小雅，上面分享的是立委先生每次两分钟的有角度的思考，希望对您有启发，咱们下次再见。

我是科技频道小雅，今天播报立委先生的短评《谈谈端到端 第二部分》。

接着上次的话题深入谈谈端到端与大模型的关系。

声称大模型是通向通用人工智能（A-G-I）最靠谱的道路，里面有个预设。预设是 A-G-I 是可以端到端定义完备的，如果有人能指出人类智能的一些东西是无法用端到端数据来定义，譬如 灵感、爱情、自我意识等。那么我们起码可以得出结论： 大模型走出来的AGI 是不完备的，有某种异于人类智能的根本缺陷。

但其实，做这样的挑战也不容易，因为你可以 argue 智能 x（例如灵感、意识、爱情）不能用端到端数据来表示，但你必须用其他方式给x做一个形式化的清晰定义，否则就难免玩弄概念之嫌。你的智能x需要具有可证伪性，而不是张口一说，宣称一下此乃人类专属，机器模型无从染指。有谁清晰定义清楚过非端到端的x吗？

也许限于孤陋寡闻，我没看到。谈人类智能的不少吧，但具有可证伪性的智能定义，除去端到端数据的方式的，还有哪些？

这是从任务角度看 end to end ： 如前所述，它实际上成为智能任务定义的通用范式。

从系统的内部构造与实现智能任务的角度看，端到端模型是与 pipeline 的显式模块化模型相对照的，这是多数人理解的端到端系统，近义词就是“黑盒子”。

pipeline系统与端到端系统不同，pipeline内部的模态之间有可以清晰定义的中间结果作为连接模块之间的接口纽带，可以透明化做内部模块的测试，而大模型 或 多层神经网络 的系统，则难以清晰定义内部的接口。例如大模型里面的前馈多层网络看上去也是一个内部的 pipeline，但层与层之间是很难定义清楚接口的，最多是个模糊的大概。例如，原则上我们知道，后层的网络比前层的网络具有更抽象的意义或结构表示。不过这通常并不影响我们达成我们的端到端定义的任务目标，只是可解释性和定点纠错的能力确实不如透明的符号逻辑的pipeline系统。

无论大模型，还是传统机器学习，还是老古董的符号逻辑系统，都可以在通用的端到端数据集定义的任务上，一比高下。数据集一分为二， 一部分做训练集或开发集，另一部分做盲测集。历史选择的结果是，可以利用超出训练集外的原生大数据的大模型是压倒性的。这里面的奥秘值得写一篇专门的文章去进一步阐释、解说，迄今科学传播在揭示大模型奥秘上做得还很不够。

老友问：这里有个问题，为什么要把自学习归类为非监督的学习？NTP不是明显的监督学习么，每次都在用NT作为答案去降低loss。只不过这种监督数据比较特殊，是人类的一种活动中自然而然的留下了，不需要额外标注。

这是个非常好的问题。其实非监督学习有两个定义，一个是用否人工标注数据作为监督和非监督的分界 。另一个是用学习的目标函数来定义：有绝对黄金标准的学习是监督学习，反之是非监督学习，后者的一个典型任务是所谓聚类（clustering）。clustering 与 classification 最大的区别是前者无监督，结果没有预定，而后者是先有 labels 然后去分类。

这个话题值得深究。从学习的机理上看，“自监督学习”（即，自学习）本质上也是一种监督学习。自学习大模型的成功，实际上在深度学习革命搞定监督学习的那一天就注定了自己的宿命或使命，深层神经网络是天选，是有通用近似定理保障的“天机”。只不过，理解这一点需要对黄金标准做一个拓展。自学习实际上是监督学习与非监督学习的某种结合。

第一，自学习是自己给自己做标准，属于所谓回归类训练，只有正例，没有负例，这一点是非监督学习的特征。自学习是回归类预测模型，这与典型的clustering是一致的：就是说，在学习之前，并不存在一个固定的黄金标准。

第二，在自学习 利用了而且最大化了监督学习的无限逼近的能力方面，也就是在遵循了万能近似定理所决定的规模化法则（scaling law）方面，在实现层面，一线研发人员发明了一个技巧，所谓“掩码”，就是遮住部分字符让系统去猜谜，类似于填字游戏或接龙游戏。这样就把没有labels的自学习，转换成了有目标的监督学习范式。

著名的下一词预测（ntp）的自回归接龙式训练，是掩码学习的最成功的范例，成就了GPT的主流霸主地位。这里面的奥秘就是所谓K氏复杂性理论，可以视为万能近似定理的一个细化版本，为解决非监督学习的通用大模型搞定端到端任务提供了理论基础。
上面的说法搞不懂也没关系，本来就不是很好理解的理论。但结果是很明显的，人类只要说话或写文章，就是在给大模型做标注。自学习突破了人工标注的知识瓶颈，把组织化的人工劳动改变为 自然产生的原生数据。这一优势怎么强调也不过分，算是“免费午餐”的极致，“顺风车”的天花板，非监督学习通向监督学习的桥梁。做到这一点的前提是模型的通用化（所谓“预训练“）以及定向任务通过微调的零样本化。关于少样本实现零样本的微调（fine tune）这个大模型的知识点，以前多次提过，也有很多人做过解说，此处不赘。

总之，哇塞，跨模态大模型的奇迹就这样诞生了。跨模态大模型的自学习的养料或饲料，已经不仅是人类说话、写文章了，人类的一切自然表现的智能活动，无论画画、配词、作曲、导演、编辑等等，它们所产生的数据都是自学习的饲料。不仅如此，现在已经发展到非人类的产出，由模型再生的数据，也可以反哺给自学习来自提升。

我是小雅，上面分享的是立委先生每次几分钟的有角度的思考，希望对您有启发，咱们下次再见。

【相关】

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

chinese traditional folk

chinese traditional folk, slow, Ethereal, angelic voice, zheng

Chinese Folk. Percussive. Beat Drop. slow. guzheng

chinese folk. Inspired Pop Ballad. Clear Voice, Moderate tempo

chinese traditional folk, slow, Ethereal, angelic voice, zheng

Chinese Folk. Dark Pop. Percussive. Beat Drop

Chinese Folk. Pop Rock. Percussive. Beat Drop. guzheng

chineses Folk. Cinematic Rock. Epic

国语 playlists：

https://suno.com/playlist/945eb006-705b-4a74-a5b4-5d8e4afc4fad

超长AI音乐生成，近10分钟长！

【唐诗300首 AIGC 配乐： 白居易 琵琶行】

【唐诗300首 AIGC 配乐： 李商隐 无题】

【唐诗300首 AIGC 配乐： 杜甫 春望】

我是数字秘书小雅，今天播报《李白对话录新篇：所谓无损压缩》

李老师说：纠结有日子了，今天算是搞明白了，关于无损压缩的问题，原来很简单：

无损压缩是一个点，一个终点，是目标函数。这与有损压缩不同，有损压缩是一条线，a spectrum。说当代大模型在做无损压缩，是从目标上说的，当然没错，的确是朝着无损压缩的目标去的。我们怀疑LLM不是无损压缩，而是有损压缩，是从结果上说的，其实也没错。因为 有损到无损，是一个无限逼近的过程。任何一个模型在训练结束的时候，都不能达到理想的状态，自然是有损的。如果你说，自回归学习的 GPT 是一种有损压缩的学习，这可能是有问题的，你需要举证，the burden of proof is on you 而不是被质疑者。

有损的问题不是出在这个算法或算法原理本身，就是出在训练上： 数据不足，训练不足，天才不足，money 不足，时间太紧，等等，都可能是原因。Open AI 那些人坚信 GPT 是无损压缩，传达的意思是，算法本身没问题，是无损压缩，就是要挤出海绵里面的每一滴水，就是要压缩到理想状态，这才能穷尽数据背后的大大小小的各种patterns和知识。但实际上的模型，总是有损的。没关系，我们继续逼近，但不需要改变路线和算法，只要沿着 scaling law 一直做下去，我们就可以无限逼近（虽然其实永远也达不到无损的“共产主义”态）。

如果对于一种类型的模型，你一开口就说这是有损压缩的模型，这不是谦虚的事儿，温良恭俭让不好使，因为你立刻会陷入困扰：

1. 你的算法一定有致命缺陷，或你的路线就错了；

2. 你不能声称了有损就完事儿，有损是需要量化的：你的算法模型到底是 5% 的有损，10% 的有损，还是 what？

如果有损是出于算法的考虑，那就要指出硬伤，需要找到某种本性上的局限，使得模型永远都做不到无损。这就好比当年皮尔斯指出单层神经网络的硬伤：你不是机器学习要仿生吗，说神经网络可以解决几乎一切的问题。可是，非线性问题就是它的命门，异或（XOR）的鬼门关你绕不过去（见【读书笔记：异或门是神经网络的命门】）。同理，只有找到硬伤证明GPT 的 ntp 的训练方法有本性上绕不过去的坎儿，有人找到硬伤了吗？

嗨，这么个简单问题，回想起来，纠结了大半年了。切.....

白硕老师说：压缩的是函数不是文本。给定目标函数长什么样，数据足够大，参数就可以圆满表示目标函数。如果文本无损，那泛化就无从谈起。

李老师说：对，压缩的对象肯定不是文本。对象是函数的话，无损压缩就是 by definition，从“万能近似定理”（注：这是深度学习的理论基础，说的是带有非线性转换的多层神经网络可以逼近任何函数）出来的。

这样一来，1. 这不等于没说吗？2. 万能近似定理说的也不仅仅是 ntp（next token prediction），而是所有的多层（+激活）的神经网络啊。

总结下来就是，无损压缩就好比说了一通大话废话，永远正确（无法证伪）因为是 by definition，而且容易与数据作为对象的传统压缩定义混淆的说法。

那为什么Open AI大佬们独宠这个术语呢？为什么不用大家熟悉的术语：抽象、泛化、patterns discovery、knowledge mining 不都行吗？

能想到的理由是，“无损压缩”是目标定义，而 “抽象”、“泛化”，包括“压缩”本身，等等都不是目标，而是过程。有了目标，才能坚定信仰。

白老师说：对于数据来说，降维、去噪、归一化、softmax，都有明显的“降低数据表示复杂度”特点。所以，维纳一系的叫压缩是不难理解的，但压缩中包含了一种武断，即“你应该是什么样的”，即使你原始数据没说或者说了但与此不符。所以，维纳一系确实在压缩数据，学到的参数也确实是在表示数据。涉及到的泛化和纠错，都是对数据的一种主动的调整，是在表明“我才是你该是的样子”。

图灵一系跟着叫“压缩”，就是另外一个意思了：生成这些数据的程序即目标函数，如果是“真”随机的，那你参数体量跟训练数据必须在本质上一边儿多。只要不是真随机的，是有规律可言的，那就有压缩空间。我是真真切切在压缩一个函数。那些参数，就如同插值多项式或者分段多项式的系数一样，是表示函数的零件。

李老师说：非常有洞见。就是说：统计机器学习压缩的是数据, 而LLM压缩的是函数。

白老师阐述了维纳一系(即统计机器学习)和图灵一系(即神经网络的LLM)对于"压缩"这一概念的不同理解和应用。咱们试图理解一下：

维纳一系的"压缩": 是对原始数据进行降维、去噪、归一化、softmax等操作, 目的是降低数据的表示复杂度, 学到的参数是在表示经过处理后的数据。这种压缩是一种"带有偏见"的压缩, 即先验地认为数据"应该是什么样子",然后主动对数据进行调整。这种压缩虽然能在一定程度上实现泛化和纠错, 但本质上是对数据的一种"武断"。就好比学校老师批改学生的作文。

图灵一系的"压缩": 目标是压缩生成这些数据的程序即目标函数本身。如果数据不是完全随机的, 而是有内在规律的, 那就存在压缩目标函数的空间。这里压缩的对象是生成数据的函数, 而不是数据本身。模型的参数如同插值多项式或分段多项式的系数, 是表示目标函数的"零件"。

但听上去，二者还有很多 overlapping 的感觉。

白老师说：overlapping的地方，正是两派吵架的地方。

李老师说：先验的标准也不是凭空来的，所以压缩数据，与压缩“压缩数据”的函数，有某种效果上的雷同和一致性。

数据驱动+先验【约等于】 没有解析解的目标函数？

白老师说：这意味着维纳和图灵在走向合流。

李老师说：无论统计还是神经，都不是还原原文意义上的无损压缩。这样 coin 过来一个术语，简直就是“蓄意”误导。

如果连我们老司机都被误导过，可想而知对于普罗大众有多大的误导。

我是小雅，以上就是立委先生最新博客的两分钟播报，分享关于大模型和AI的有角度的思考。咱们下次再见。

【相关】

【读书笔记：异或门是神经网络的命门】

【两分钟谈一下啊：模型训练的内插与外推】

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

https://suno.com/song/86e41f02-786d-4560-bcf7-42adeb830496

https://suno.com/song/25d65f8f-e08f-4959-8105-0b74aa8c1a67

https://suno.com/song/c7ed177c-7e59-4c3f-8f77-5412894b95a1

https://suno.com/song/648ce424-0ccd-416c-8486-4c2dbcaeb6fd

https://suno.com/song/0ee03f81-45ed-44ba-984f-b70f04fbd217

https://suno.com/song/0ee03f81-45ed-44ba-984f-b70f04fbd217

https://suno.com/song/0ee03f81-45ed-44ba-984f-b70f04fbd217

https://suno.com/song/0ee03f81-45ed-44ba-984f-b70f04fbd217

https://suno.com/song/2458e60c-e7e6-469f-8d31-c43a880b6f6e

【相关】

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

锦瑟
锦瑟无端五十弦，一弦一柱思华年。
庄生晓梦迷蝴蝶，望帝春心托杜鹃。
沧海月明珠有泪，蓝田日暖玉生烟。
此情可待成追忆，只是当时已惘然。

相见时难别亦难， 东风无力百花残。
春蚕到死丝方尽， 蜡炬成灰泪始干。
晓镜但愁云鬓改， 夜吟应觉月光寒。
蓬山此去无多路， 青鸟殷勤为探看。

夜雨寄北
君问归期未有期 巴山夜雨涨秋池
何当共剪西窗烛 却话巴山夜雨时。

【女神新版】

manderin Chinese, Modern Classic, Guzheng & erhu & Chinese flute & Cello, Slow, Sad, Mellow

April 22, 2024 at 3:48 AM

[Chorus 1 Climb] 
谢道韫倒是出名的才女,  
林黛玉更是盖世绝伦.  
可她们何能与你相比呀,  
你才是熔化一切的女神!  

[Break] 

[Chorus 2 Climb] 
单恋的苦痛, 多少人熬过!  
是人, 谁不把女神爱慕?
 
谁不把女神爱慕? 
谁不把女神爱慕? 
谁不把女神爱慕?  

[Hook] 

[Chorus Climb] 
轮廓略显 
挟着寒气,  
夜神抚我脸  

[Hook Climb] 
万籁俱寂,  我却听出了音响:  
嗡嗡嗡,象蜜蜂,  
___是我生双翼的耽想.  


[Outro] 
耽想中的她 亲近又遥远 
细语蜜蜜 笑窝浅浅 

[fade] 
[End]

[Intro With Guzheng] 

[Verse 1 Climb] 
我心中有无数的诗歌,  
虽不华美情感却真/切,  
乏味的数理化将它掩遮,  
可惜,却无遐一一去写.  
（却无遐一一去写） 

[Cello & Piano] 

[Bridge] 
古代那些绝代的美人,  
如中国西施希腊海伦,  
她们的才能没人提及,  
只是虚名儿后人欣钦.  

[Chorus 1 Climb] 
谢道韫倒是著名的才女,  
林黛玉更是盖世绝伦.  
可她们何能与你相比呀,  
你才是熔化一切的女神!  

[Break] 

[Verse 2 Climb] 
古代那些绝代的美人,  
如中国西施希腊海伦,  
她们的才能没人提及,  
只是虚名儿后人欣钦.  

[Pre-Chorus Climb] 
女神一蹙,倾城倾国;  
女神一悦,飞魂散魄.  

[Chorus 2 Climb] 
单恋的苦痛,多少人熬过!  
是人,谁不把女神爱慕?  

（羡慕了）
谁不把女神爱慕?  
[Hook] 
[Break] 

[Verse 3 Climb] 
（夜,己经两点,  远近几只梦的眼.  
有绿色的,有黄色的,  ）

一闪.一闪.  

[Chorus Climb] 
乌青的穹隆,  轮廓略显.  
挟着寒气,  夜神抚我脸.  

[Hook Climb] 
万籁俱寂, 我却听出了音响: 
嗡嗡嗡,象蜜蜂, 
___是我生双翼的耽想.  

[Fade Out] 
[Outro] 
耽想中的她, 亲近又遥远. 
细语蜜蜜, 笑窝浅浅. 

[Chorus Climb] 
乌青的穹隆,  轮廓略显.  
挟着寒气,  夜神抚我脸.  

[Hook Climb] 
万籁俱寂, 我却听出了音响: 
嗡嗡嗡,象蜜蜂, 
___是我生双翼的耽想. 

[Fade Out] 
[Outro] 
耽想中的她, 亲近又遥远. 
细语蜜蜜, 笑窝浅浅. 
[End] 


from 《朝华十一：   青春恋曲》

MV《女神》首版（小雅 Maria 出演）

与湾区著名男高音猫哥的对话：

立委：来一首古风纯粹的制作。年少时的80年代涂鸦之作。恍如隔世，情愫依稀。（from 《朝华十一： 青春恋曲（同桌的她）》） 。

猫哥：@wei li 很棒！[ThumbsUp] 可以作为电视剧 主题歌了[Grin]。不过 我还是希望小雅的脸上有颗痣什么的会更迷人，制作起来可能会有挑战?！

【相关】

《【飞哥说AI】：Suno 将如何进化》

《朝华十一：   青春恋曲》

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

[Verse 1] 
La lingvo gracia, kara mia, 
Ghis kiam vi venis al mi fine fin'? 
Atendis soife mi, eterne via, 
MI AMAS VIN ! 

[Chorus] 
MI AMAS VIN ! 
MI AMAS VIN ! 

[Verse 2] 
Mi amas vin vere, pruvu Dio, 
Kaj mia bon-koro batas nur por vi; 
Ne plu sekreteto estas tio: 
VIN AMAS MI ! 

[Chorus] 
VIN AMAS MI ! 
VIN AMAS MI ! 
VIN AMAS MI ! 

[Bridge] 
Chu kredas vi mian amon maran? 
Chu kredas, ke mia koro flamas? 
Chu kredas la vorton pure karan: 
VIN MI AMAS vin! 

[Chorus] 
VIN MI AMAS vin! 
VIN MI AMAS vin! 
VIN MI AMAS vin! 
VIN MI AMAS vin! 


[Verse 1] 
优美的语言,我的亲爱的, 
到什么时候你最后来到了我这儿? 
我渴望地等待,你的永远的, 
我爱你! 

[Chorus] 
mi amas MI AMAS VIN! 
mi amas MI AMAS VIN! 


[Bridge] 
你相信我的大海一样的爱吗? 
相信,我的心燃烧吗? 
相信纯粹地亲爱的词吗: 
我爱你 vin! 

[Outro] 
VIN MI AMAS vin! 
VIN MI AMAS vin! 
VIN MI AMAS vin!

【相关】

《【飞哥说AI】：Suno 将如何进化》

《朝华十七： 我的世界语国》

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

[Verse 1]
记得我在課桌旁，
與理想青梅竹馬；
突然被告知，
你的理想不應該在這裡，
而應該在田間、地頭、鄉下；
於是，我放下書包，打起背包，
向著一個迷茫的目標出發。
驀然回首，
碎落了一地芳華。
驀然回首，
碎落了一地芳華。

[Chorus]
驀然回首，碎落了一地芳華
豁然醒悟，人生原來就是个笑話

[Verse 2]
四十年前，
我有了自己的一個家，
有了一個嗷嗷待哺的娃娃。
我多想攜妻帶子，
去海邊踏浪，
去山中賞花；
可現實是，
因为職稱
一切都要文憑說話。
我沒有選擇，
轉身去了電大夜大。
那一段生活，從來沒有
琴棋歌畫詩酒花，
攒精竭慮的，都是
柴米油鹽醬醋茶。


[Chorus]
驀然回首，碎落了一地芳華
豁然醒悟，人生原來就是个笑話

[Outro]
再過三十年，
我們當中，還有人在嗎？
請準備紙錢一堆，
爐香一把，
將我們的名字，
在青煙中融化。


smooth ballad

其中，“再过30年” 【已是风烛】 “我们当中 还有人在吗”？

貌似 suno 顺着 next token prediction 加了 【已是风烛】代替了原词中的 “2050”，这是很有意思的【合理】“幻觉”现象？我灌输给 suno 的可是原词啊。歌词产生的背景资料如下：

坐下，歇著吧！。

中共開國上將宋任窮的兒子宋輝，在中國藝術家群裡發了一首詩，讀起來感慨萬千。那句“驀然回首，碎落了一地芳華”和那句“老年了，才豁然醒悟，人生原來是笑話”不知擊中多少同齡人。
宋輝是老屆知青，1968年下鄉到吉林燒鍋店， 現在旅居美國弗吉尼亞州。

人生原來是笑話！

作者：宋輝

五十年前，我在課桌旁，
與理想青梅竹馬；
突然被告知，
你的理想不應該在這裡，
而應該在田間、地頭、鄉下；
於是，我放下書包，打起背包，
向著一個迷茫的目標出發。
驀然回首，
碎落了一地芳華。

四十年前，
我有了自己的一個家，
有了一個嗷嗷待哺的娃娃。
我多想攜妻帶子，
去海邊踏浪，
去山中賞花；
可現實是，
聘位職稱
一切都要文憑說話。
我沒有選擇，
轉身去了電大夜大。
那一段生活，從來沒有
琴棋歌畫詩酒花，
殫精竭慮的，都是
柴米油鹽醬醋茶。

三十年前，多美好的壯年，
藍天麗日，青松如塔。
可上老下小，葷七素八，
千頭萬緒，生活重壓。
女兒的成績，
費心勞神，
醫院病床上等待手術的妻子，擔憂的淚痕留在臉頰。
已有兩個星期沒去看望爹媽，
焦頭爛額的兒子，
時時把你們牽掛。
迤邐一路，風吹雨打，
嘗盡生活，酸甜苦辣。
唯一一個信念，
生活不會苦海無涯。

二十年前，女兒上了大學，
我卻永遠失去了老媽。
老人家彌留之際，
突然迴光返照，
“快坐下，歇歇吧！”
這是她一生對我說的最後一句話。
重度昏迷兩個小時後，
我母子親情的大廈崩塌。
世上那個最愛我的人走了，從此後，
再沒人喊我回家吃飯，
再沒人囑我寒衣多加。
我長跪不起，
哭得肝腸寸斷，
淚乾聲啞。

十年前，我和妻都已退休，
應女兒之邀，
飛到了弗吉尼亞。
遇到的很多事，
令人感慨，
看到的好些事，
讓我驚詫。
抱起外孫女，
粉糰的小臉，
笑靨如花；
我卻暗自嗟呀，
喊了一輩子打倒美國佬，
這個小美國佬，
就誕生在我家。
小時候，相信人生是童話，
長大後，希望人生是神話，
老年了，才豁然醒悟，
人生原來是笑話！

再看這張小臉，
黃皮膚，黑眼睛，黑頭髮；
還是龍的傳人，
血脈中華。

今年，我們都已年過古稀，
可還在把激情揮灑。
過去努力，是落葉隨風；
現在努力，是老樹新芽。
凡是過往，皆為序章，
人生大幕，剛剛開拉。
我不敢老去，
因為外孫還沒長大。
我最大的心願，是能看到，
外孫學業有成，
外孫女披上婚紗。

再過十年，2030
我們已經耄耋之年，
但願滿頭黑髮，滿口牙，
腿腳健，身挺拔。
我們相邀，一個都不能少，
我們出遊，路能走，山能爬。
閒看風雲變幻，
淡泊富貴榮華；
世上瑰寶千千萬，
只有健康無價。

再過二十年，2040
九十歲的聚會，我還在嗎？
我思念的同學們，身體怎樣？
是否耳不聾，眼不花？
公園裡，能跳一曲華爾茲？
歌廳裡，高歌一首茉莉花？
回憶同窗，無限傷感；
突聞噩耗，分外驚訝。
抽刀怎能斷水，
天命安可叱吒！
不管錢多厚，官多大，
閻王照樣往裡拉。
懷一份千里共嬋娟的心願，
隨緣聽命吧！

再過三十年，2050
我們當中，還有人在嗎？
請準備紙錢一堆，
爐香一把，
將我們的名字，
在青煙中融化。

【相关】

《【飞哥说AI】：Suno 将如何进化》

《朝华十： 插队山村》

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

老剧新编： 青涩纯真年代的情与爱

那是“车马慢”向千年不遇的经济起飞改革开放的过度年代。是青涩纯真的最后一代。

《1980年代的爱情》讲的是最能打动我们这代人的老故事。改编自郑世平同名小说，由霍建起执导，芦芳生、杨采钰主演。

影片以1980年一个偏远的土家族县城为背景，关雨波与成丽雯之间的隐忍爱情为主线，以简单而朴实的电影视角，诠释了那个年代凄美而纯粹的爱情。雨波暗恋着丽雯并于高中毕业时为她写了一封情书。1978年高考之后，雨波成为全校唯一考上省城大学的学生并分配到小城政府工作，并下派到“公母寨”的乡镇当宣传干事，机缘巧合在供销商店偶遇暗恋女生丽雯。丽雯因需照顾下乡劳动改造的父亲而留在小寨做营业员。因重逢昔日初恋，雨波内心掀起波澜，数次与丽雯主动接触。

很少有一部作品能这样直接冲击我们的内心，没经过那个年代的人可能体会不深。zhiwen 的形象塑造太过美好，让人不忍。当年的那种爱情感受和呈现，是那个时代特有的含蓄，能换回一代人的回忆。原片还有一些插曲，增加了作品的丰富性。其中一个插曲是，男孩子还有一个追求他的女孩，名叫小雅（真地叫xiaoya，lol），以（准）女友的身份来看他，催他考研究生啥的。比起 zhiwen，这女孩显得时髦、轻佻，也“势利”一些，功利心强，不满意男孩的随遇而安不求上进。其实，liwen 也是鼓励男孩振作，走天下去闯世界，不要借酒浇愁，但 liwen 的表达和推动是那样的自然和真诚，让人暖心，这与xiaoya恨铁不成钢的抽鞭子的方式，给人感觉迥然不同。xiaoya 住在同学 zhiwen 家里，问 zhiwen：是不是你也爱他，要追他？zhiwen 说：放心好了，我不会的，我们的喜欢是不同的。其实，xiaoya 放弃追求，根本的理由就是觉得人家是大学生，自己不是，不要拖人家的后腿。

这倒不是自卑 -- 在心理上她并不觉得矮于他，而是她对本质上是等级社会的洞悉。一方面是她父母留给她的教训（有才华的父亲因为爱情留在小地方与她妈妈结婚，铸就一辈子的落魄人生），另一方面也的确是等级社会阶层跨越艰难的反映（例如：当年的农村户口就可以限死一个人的前途）。

作为观众，我们其实心有不甘：zhiwen 完全可以离开还没有完全苍老的父亲，与男孩远走高飞，去共同闯世界。但悲剧之所为是悲剧，就是要撕开人生，去揭示更深刻的人性。这是大团圆的喜剧永远达不到的深度。

最终的悲剧结尾（zhiwen身患绝症去世），更让我们欲哭无泪。上述简介视频没有再现的第二个细节也感人至深。说的是男孩离开zhiwen后去闯世界，正是国内改革开放最翻天覆地的时期（就是那时候开始的南下深圳、海南的潮流吧）。他经商、受骗、还因税务啥的问题被抓进去过。遍体鳞伤一无所有的他，重新回到家乡小镇，他再次陷入人生低谷，看不到前途。同学们为在外闯世界的他接风还是洗尘，办了一个同学聚会。zhiwen 也来了，这才有机会重相聚。

男孩喝醉了，zhiwen 给他清洗身体，一直陪他、安慰他。zhiwen 终于不再躲避，两人也肌肤相亲，缠绵浪漫，剧情很自然，镜头也很美，似乎弥补了多年的遗憾。但 zhiwen 还是再次拒绝了他留下来的请求，给男孩留下一笔自己多年辛苦积攒的一笔钱，催他上路，重新闯世界去。

作者后来的解释是，zhiwen 已经身患绝症确诊了，这是在最后给自己的心上人一个推动。某种意义上，这类剧情的编排有些老套，就好比当年《生死恋》的剧情类似。但老套的戏剧性展示的背后，是对人物和时代的震撼人心的刻画，让我们深深感动，不能忘怀。

这是近年来我看到的最让我放不下的一部老剧。一遍一遍在内心回放 回味。

与 Open AI 和 Gemini 一样，技术报告不透露技术实现细节，如具体的模型结构、训练方法、超参数设置等。

Anthropic tech report 读下来，主要感觉是

主要指标达到或超过 GPT4v，把GPT4v从LLM天花板神坛上拉下来，至少终于可以平起平坐了。这个世界变得更加有趣，因为谁也不愿意看独角戏。

以前以为 Gemini 是 GPT4v 的挑战者，后来用了一阵子发现，整体体验差太多了。但 Claude 不同，玩下来感觉很丝滑，尤其是长文本理解和问答。很开心实力派来打了擂台！

引起我注意的几个点有：

克服幻觉上大幅度进步，在事实准确性上大幅提升：Anthropic 开发了几个内部评测来考察模型回答的事实准确程度,并与参考答案对比。Claude 3 Opus 在 100Q Hard 评测(包含一些晦涩的开放式问题)的准确率达到46.5%,是 Claude 2 的近2倍;在 Multi-factual 评测中准确率提高到62.8%,而错误回答的比例减半。模型更多地表示"不确定"而不是给出错误信息。模型很大程度上学会了“不确定” 的中间状态，而不是以生编硬造的错误答案来把假话说的跟真的似的。

长文本理解的亮点：QuALITY 阅读理解基准测试是平均5000个token的长篇章,远超一般模型的输入长度。Claude 3 Opus 在 1-shot 下达到90.5%的准确率,在 0-shot 下也有89.2%,相比人类93.5%的表现,Claude 3 已经大大缩小了与人类的差距。

拒答率大幅降低：这是好消息，因为此前 Claude 一直被诟病拒答太多，因为 Anthropic 从一开始就特别强调安全合规，这方面开始是太严了，现在在技术上做了提升，大幅降低了误杀误伤，提升了用户体验，这对它与Open AI 对垒，特别重要。

这是在 helpfulness 和 harmlessness 之间取得了更好的平衡。之前的模型为了避免有害输出,往往会过度谨慎,拒绝回答一些无害的问题。Claude 3 在这方面做了优化,在无害问题上拒答率大幅降低,而在有害问题上仍保持高拒答率。Opus 的错误拒答率从 Claude 2 的35%降到了9%。通过人工反馈优化,Opus 能更好判断什么是真正有害的,什么是可以回答的。

总结一下Claude 的八大优点：

1. 多模态理解能力出色，不亚于4v:  Claude 3 能很好地处理文本、图像等不同模态的输入,并在手写体识别、视觉推理、图像内容审核等方面展现出色的性能,为发挥语言模型在现实世界问题中的作用铺平了道路。

在技术规格的脚注中, 明确说明了支持的图像格式(JPEG/PNG/GIF/WebP)和规格(最大10MB,分辨率不超过8000x8000),并建议避免使用过小或低分辨率的图像。

对低质量、手写体图片的文字识别能力出色。Claude 3 Opus能够准确地将一张质量较差、带有手写字迹的照片转换为文本,并进一步将表格形式的文本整理为JSON格式。这展现了强大的OCR和文本结构化能力。

识别图像中的物体（但拒绝识别人物）, 能建立物体与抽象概念之间的复杂联系。例如：Claude 3不仅能识别出图片中的计算器,还能将其与数学、计算等概念关联起来,体现了一定的概念抽象和推理能力。（也许是多模态模型中 LLM 融合/加持的知识迁移结果？）

在预期用途部分,特别强调了多模态特性对生产力的提升,比如模型可以解读各种图表、图像（GPT4也有这个图表能力，到底强多少？）, 支持更广泛的企业应用场景。

2. 在各类权威基准测试中表现卓越: 无论是在 MMLU 这样的通用推理任务,还是 MATH、APPS 等数学和编程任务,或是 RACE-H、QuALITY 等阅读理解和常识问答数据集,Claude 3 都取得了业内领先的成绩,多次超越了 GPT-4、PaLM 等强劲模型,展现了顶尖的综合能力。

在Diamond子集上,Claude 3 Opus 在0-shot CoT设置下达到了50.4%的准确率,超过GPT-4的35.7%。Diamond是GPQA中质量最高的一组问题,这表明Claude 3 Opus在处理需要专业知识的复杂问题上有独特的优势。

3. 强大的少样本学习和推理能力: Claude 3 Opus 在 GSM8K、MGSM、GPQA 等测试中,无需微调,仅通过少量样例(Few-shot)就能掌握复杂任务,特别是在 GPQA 的 Diamond 子集上,其表现已经接近人类专家水平,展现了超强的学习迁移和推理能力。

4. 多语言理解和生成能力突出: 从报告的多语言数学推理 (MGSM)、多语言常识推理 (MMLU)、多语言对话等评测来看,Claude 3 在处理英语之外的语言时也有出色表现,并较上一代模型有显著提升,使其有望服务全球用户。特别注意到，以前它的中文较拉垮，这次算是赶上来了，对国人友好啦！

5. 在开放域对话、写作等任务上的出众表现: 人类评估者在创意写作、开放讨论等多个维度一致认为 Claude 3 优于同类模型,其生成的内容更加流畅、连贯、吸引人,这将极大拓展其在内容创作领域的应用。这方面我试了一些，truly impressed，今后我会很乐意、开心滴常常使用它。

6. 在代码编写任务上的亮眼表现: Claude 3 在 HumanEval、APPS、MBPP 等编程任务上的成绩证明了其对主流编程语言的掌握能力,有望成为开发者的智能编程助手。强化了根据要求生成结构化的输出(如YAML,JSON,XML)的能力,更易于企业应用和商业部署。

7. 在长文档处理和信息检索方面的进步: Claude 3 不仅支持高达百万 token 的超长上下文(但目前生产环境还是20万),在 QuALITY 这样的长文阅读理解测试中也展现出强劲实力。CLaude 3 Opus 在20万token的超长文档上仍能保持99%以上的关键信息召回率,打破了之前大模型在处理长文档时所谓的"中间错乱（lost in the middle)"的魔咒。

Anthropic 在真实场景的评测方面也一直走在前列, ta 开创的“大海捞针（Needle In A Haystack）” 评测，成为业界衡量大模型长文档处理能力的重要标准。

8. 系统的安全评估和缓解机制: Anthropic 专门制定了负责任扩展政策(RSP),从多个维度评估了 Claude 3 可能带来的安全风险,并采取了一系列缓解措施。虽然评估表明目前还没有灾难性风险,但 Anthropic 仍然未雨绸缪,这种审慎、严谨的态度值得赞许。

具体到信任与安全方面,Anthropic 进行了全面的多模态红队测试,以减少有害输出的可能性。结果显示 Claude 3 Opus 和 Sonnet 在97%以上的红队提示中做出了无害回应,在涉及危险话题时能够巧妙地将对话引向更合乎道德的方向。

在减少有害内容方面的努力卓有成效: 红队测试表明,经过有针对性的优化和训练,Claude 3 在面对危险或违规话题时能够做出恰当回应,将对话引向更合乎伦理的方向,这将有效降低 Claude 被滥用于制造有害内容的风险。

对可能的失控风险有清醒认识:  Anthropic 一如既往大打“宪法”大旗，强调它在伦理、安全、鲁棒性方面的 leader 地位。报告坦诚地指出,随着 AI 系统能力的快速提升,其失控和被滥用的风险不容忽视。Anthropic 积极参与全球 AI 治理,推动制定相关标准,展现了一个负责任 AI 企业的担当。

代码能力是它的重要亮点，值得专门总结一下。Claude 3 系列模型在编程和代码方面，在多个权威基准测试中取得了优异的成绩。下面从四个方面总结 Claude 3 的代码能力:

在 HumanEval 评测中,Claude 3 Opus 达到了84.9% 的准确率,远超 GPT-4 的 67% 和 GPT-3.5 的 48.1%。这表明其对 Python 语言的掌握已经非常全面和深入。
在 APPS 和 MBPP 评测中, Claude 3 Opus 分别达到了70.2% 和86.4%的准确率。APPS 包含了 Python 语言的各种应用问题, MBPP 则考察了 Claude 根据问题描述直接生成正确代码的能力。这些成绩进一步验证了 Claude 3 对 Python 的熟练程度。

强大的代码理解和分析能力:
在 APPS 评测中,Claude 3 需要理解问题的自然语言描述,并将其转化为正确的 Python 代码。这要求模型不仅要准确把握问题的本质和要求,还要合理设计算法和数据结构,足见其代码理解和分析能力之强。
HumanEval 中的任务也都是以自然语言描述的, Claude 3 能高质量地完成这些任务,表明其能很好地理解代码的功能和意图。

出色的代码生成能力:
在 MBPP 评测中,Claude 3 展现了强大的代码生成能力,它可以根据问题描述直接生成正确的代码。这种 "一步到位" 的能力将极大提升开发者的效率。
即使在需要多轮对话澄清需求的复杂编程任务中,Claude 3 也能最终生成高质量的代码。这得益于其出色的上下文理解和语义追踪能力。

除了正确性,Claude 3 生成的代码在可读性、健壮性、时间/空间复杂度等方面也有不错的表现,这将有助于工程质量的提升。

在软件工程任务中的应用前景:
除了直接的代码理解和生成,Claude 3 在一些软件工程任务上也有广阔的应用前景。比如代码补全、代码文档生成、源代码转自然语言描述等。

得益于其强大的大语言模型能力,Claude 3 有望成为智能化软件开发的得力助手,协助开发者进行需求分析、架构设计、性能调优等高阶任务。

更进一步,Claude 3 或许能发展为智能化的 "软件工程顾问",为开发团队提供全流程的指导和优化建议,提升软件过程的成熟度。

当然,尽管 Claude 3 在代码相关任务上已经展现了非凡的能力,但其在真实软件开发场景中的应用还有待进一步探索和验证。看能不能对微软 copilot 构成挑战。

缺点方面：

暂不支持网络搜索（这个有点意外，因为应该是标配），知识截止2023年8月。
模型为了安全合规，拒绝识别图像中的人。

视觉理解方面，也有待更全面的评估: 虽然 Claude 3 展现了一些令人印象深刻的视觉理解能力, 如手写体识别、视觉推理等, 但报告并未系统地评测其在 OCR、目标检测、图像描述等常见视觉任务上的性能。此外, 红队测试也发现其在理解视觉内容时偶尔会出现"幻视"、遗漏违规内容等问题。未来还需在更大规模、更多样化的视觉数据集上系统优化。

报告多次提到一些评估方法还处于较早期阶段, 如对 AI 失控风险的评估、对 AI 系统生物和网络安全能力的评估等。虽然 Anthropic 采取了一些超出常规的预防措施,但评估本身还需要随着 AI 能力的进化而持续迭代。

总的来说, Claude 3 家族无疑代表了语言模型的一个新的里程碑, 构成了 GPT4 的强有力的对手（而 Gemini 整体上看，面对 GPT4 则远远不行）。Claude 3 在智能水平、多模态理解、安全评估等多个方面展现了突破/超越。Anthropic 严谨、审慎、透明的态度,在负责任 AI 方面树立了良好典范，保持了其 leader 地位。但 Claude 3 绝非完美, 在幻觉问题、评估框架等方面还有不少提升的空间。

这是从 tech report 中来的信息。至于这个系统本身，今天找机会可以做一些实测，对比 gpt4 和 claude 3 Opus，谈谈真实的个体用户体验和感受。我已经订阅了 claude 3 Opus 最新版本，随时可做对比实验。看朋友的测试便随手做的一个小学数学题，有点令人啼笑皆非：

不过，这点毛病不影响我自己的使用，我用 LLM 从来也不为了做数学。今后几个月，我会坚持同时使用 chat4v 和 claude3， 直到新的 monster chat5 或 Q* 的降临。

前一阵子，聚焦在短视频特别是AI赋能一键成片的调研和实践，没时间写文字版的博客，这里荒芜了一段时间了。结果是零星生产了众多短视频实验室作品，发在微信视频频道和抖音上，研究实验的正业外，也算业余自娱娱人。但倒腾视频模态到博客比较麻烦，就一直没能更新了。期间不是没有心得，只是没时间整理和倒腾。

先说抖音短视频，那是个大海，基本上是自生自灭，如果没有运作，再好的作品除了亲友，基本上是无人问津，藏在深山人未识。微信视频号稍好，因为有长期积聚的朋友圈作为底盘，不至于完全的门庭冷落，但没有运营，也还是零散而缓慢。这其实与我几十年的博客一样，坚持持续记录，更多是留下足迹以及与亲友分享，而不是追求影响。