原创 立委 LiWeiNLP 2024年09月01日 17:44 北京
马教授的白盒transformer论文在：https://ma-lab-berkeley.github.io/CRATE/?continueFlag=680deb7516c156566f8eb73fdcc896ca
马毅教授大名鼎鼎，特立独行，一方旗帜人物，天下无人不识君。值得关注的是他最近对主流大模型的批评以及他自己工作的宣示。
前不久深圳会议请他来，他把主流大模型、伊利亚，以及k氏复杂性理论，批为中学生的水平，说他们根本不懂理论。而他自称理论实践双突破，说的就是他带领团队做的这个白箱 Transformer，不仅揭开了大模型的神秘面纱，而且是工程可实现的替代方案。
说句实话，把话说到这份上的人，多半是真牛人，有自带的底气和傲视群雄的霸气。对于主流的批判，老美有个杨立昆（他说GPT不如他家一条狗，是死路，他的世界模型才是替代方案），中华有个马教授，世界才显得不那么寂寞。也确实希望他们somehow能弥补当前主流大模型的“慢思维短板”，推动AI的整体进步。有时间还是应该慢慢研究他的学术和实践，但也许更多是要等待时间和同行对他们工作的检验和复现。
深圳会上就露了个脸，自己讲完和批完，立马走人。估计是真忙。
论文100多页，说过几天就放出来。看现在的 outline，重点在，quote：
Overall, CRATE is similar to a transformer, with two differences:
in each attention head, the Q,K, and V weight matrices are weight-tied, i.e., set to be equal;
and the nonlinearity following each attention layer is no longer a multi-layer perceptron (MLP), but rather a more structured operator (ISTA) with sparse outputs.
咱们了解一下，ISTA（Iterative Soft-Thresholding Algorithm，迭代软阈值算法），是一种用于解决稀疏优化问题的算法，在机器学习领域有广泛应用。在CRATE架构中， ISTA被用来替代传统Transformer中的多层感知器(MLP)，还记得前不久的 KAN 的创新也是旨在平替 MLP。都是在 Transformer 里面开刀。
我浅薄的理解，ISTA 与 KAN for Science/Physics 的思路是一致的，就是要经过某种正则化或剪枝，最终拟合成稀疏化路径，从而获得可解释性。
工作原理: ISTA通过迭代的方式逐步接近问题的最优解。每次迭代包括两个步骤: a) 梯度下降步骤，这与主流同；b) 软阈值操作。增加这个操作，是要在两个目标之间找平衡：
a) 使模型尽可能准确；b) 使模型尽可能稀疏，即简单（因为人很难理解一团乱麻）。
软阈值操作鼓励内部元素变为0，从而产生稀疏的输出，增加可解释性。权重绑定的注意力机制和ISTA（迭代软阈值算法）促进了模型对输入数据结构的更深入理解。这更像人类的结构化解析过程，抓大放小，正则化、规整化。
马教授说的是，它们经过上述的两个改造，结果在监督学习中（后来他们也成功地用到了自监督学习），就自然学到了人类的这种结构化、稀疏化所带来的可解释性。
拿图像识别来说，研究发现某些注意力头对应于动物的不同部位。更引人注目的是，这种对应关系在不同动物甚至不同动物类别之间保持一致。例如，专注于"头部"的注意力头在处理不同种类的动物时，始终关注其头部区域。这种一致性表明CRATE已经学习到了跨类别的通用视觉特征表示。
但做LLM可解释性研究的人早就发现，在MLP网络的尽头，各种结构化（例如 头、脚）的部件也都被注意力抓到了，否则不能解释LLM表现出来的泛化（或压缩）能力。困难的是在网络的前期，那些个注意力比较混杂，主流的MLP搞不清都在注意什么。隐隐约约是在注意像素（点）、线等基础元素之间的关系。
可解释AI的基本思路都是一样的，就是要把一团麻一样的黑箱多层网络内部数据拟合中凑出来的路径，改造成强加了种种限制条件和剪枝、化零的“结构化”路径。
正常人，谁不愿意模型可解释？所以这种稀疏精简的路数/算法一定也是有极大的挑战，才 so far 无法与那种黑箱子瞎凑的方法比试。
马教授觉得自己很牛的底气是因为他在最近半年一年，开始用可解释的上述白箱方法，训练出了可以匹敌传统 transformer 的成绩。他在深圳会上说，此前他有信心这才是正道，但在没有拿到结果前，还是必须谨慎。现如今，他觉得他的跨国团队用这一套在各方面所做的实现，已经让他满意到可以向全世界宣告，他找到了理论和实践的突破口，找到了transformer白箱化的正确方法，可望引发范式转变式的深度学习的突破。这令他很激动，也很霸气。所以他不再满足于大学教授的理论建树，而是觉得应该下场了。马教授自己成立了一家公司要在工程上做这个推进。这次来创业邦深圳主题宣讲，据他说，是他第一次以这个新公司的名义来向社会宣布这个挑战主流的工程落地的方向性大项目。
不过，凭着多年经验和直觉说一句这件事的挑战性（或可疑之处）：人类的可解释性建立在一个非常小的高度精简的 finite set 基础之上。如果拿 symbolic features 来说，超过千这个量级的 feature system，对于人就是不可解了。贵为上帝选民，我们人类的“豆腐脑”真地很局限。可是另一边看 transformer 里面的 parameters 以及 attention heads 的KQV数量，完全不具有可比性，天上地下。让大变小在这样的尺度下去归约，感觉上是不可思议的。
KAN for Science 之所以成功，是因为他们瞄准的 target 极为狭窄，只是 science 中的某些已有的解析公式，或者未知的但局限在少数参数的潜在公式。有了这样的目标去做剪枝，中间加上科学家的人为干涉或反馈，KAN 声称是做到了可解释性。
Anyway，马教授似乎是成竹在胸，咱们还是静观他的法术/魔术。
Related Links:
What did Ilya see? -- secret behind success of LLMs
