模型训练的讨论中，常常提到 interpolation（内推）与 extrapolation（外推）两个术语，可以说说。
大家都知道，在数据驱动的主流学习过程中，内推需要的是在训练数据的边界内“泛化”能力，善于信息压缩的深度学习训练是内推的利器。但外推（extrapolation）就没见有长于此道的算法或模型。实际上，外推与数据驱动是直接矛盾的，by nature 就是无解的，因此很可能这就是个伪问题，根本就不该对外推抱有幻想。当然，从鲁棒性角度，外推现象出现的时候，应该有个合理的应对，至少要做到模型不死机，至于外推的精度，主要是看运气，而非模型的内功可以发力。
不过，外推的问题还是值得梳理一下。
外推（Extrapolation）
定义：外推是指在已知数据点之外进行预测或推断。例如，已知某个函数在几个点上的值，外推就是在这些已知点之外估计函数的值。
前面说了，数据驱动的路数，本质上对外推无解。不能强人所难，巧妇难为无米之炊。米就是数据。
但加强外推，理论上还有 “先验知识” 和 “模型结构复杂化” 两个路子可能有点帮助，而数据本身的短板，除了数据，没有它途：就是说把对于“无人区”的外推问题，转化为收集相关数据，让外推变成内推。
模型结构复杂化在历史上是帮助了训练的“外推”能力的，如果原来的简单模型有自身的结构性局限。我们都知道，AI历史上，非线性问题在简单的单层神经网络的模型里是无解的，无论给出多少训练数据（这其实是早期神经网络的命门：单层神经无法解决 XOR 的现象）。但到了多层+非线性转换，就有解了。这其实是深度学习神经革命的最基本的立足点。这其实反映了当本质上是多维的数据被挤压在低维空间的时候，简单模型是无法跨越维度去找patterns的，相当于外推遇到了墙壁。模型复杂化就是开拓了多维空间，供训练施展。
至于“先验”对于外推的作用，我们从 Alpha-Zero 利用 self- play 再生数据可以看到效果。self-play 的好处是有游戏规则等先验知识，因此它所产生的数据，可以是在先验知识条件下的未见过的“外推”数据。
尼克：其实是个动态的过程。我按照你的理解，用美国实用主义哲学的话语替你更清晰地表述：可以证伪或者科学革命的是外推，可以证实的是内插。但是都符合奥卡姆剃刀，都是压缩。
白硕：啥叫外啥叫内？彼此互为“外”的，在一个巧妙的映射下就成了“内”。基因组和字符串，当初谁知道是外还是内呢？
鲁为民：我的理解是如果用数学语言来描述, 给定一个数据集，如果一个数据 sample 在该数据集的 Convex Hull 是内插，在Convex Hull 之外是外推。所以 Nick 说的证伪也还应该是内插，但科学革命要看革命到什么程度。
所以内插问题基本是可解的问题。从这个意义上来说 NTP 都是内插 （不过 Sonomonoff 说的下一个符号预测是外推，定义和这个不一样）。
尼克：convexity的判定非常简单，复杂性很低。
白硕：内插是纯粹连续空间里的事儿。外推符号也可以。那么问题来了，对应于符号的外推，连续模型是什么？比如离散符号集上的归纳。
还有就是奇奇怪怪的分布，用凸包就太“宽大”了，什么点都进来了。差值很容易不靠谱。把原始数据先变到某个流形上，再做凸包和内插，会精准很多。代价就是要去搞定流形。
尼克：连续是离散的近似，还是离散是连续的近似？
白硕：.1、.2，这种离散不是真离散。张三李四更离散。
中医说心是君主之官，肺是宰辅之官，肝是将军之官，这个映射是离散到离散。要嵌入向量空间还要能内插外推，不知道大模型中医书读多了会不会玩这套。
尼克：对，单说convexity从复杂性角度没意义。
鲁为民：但这个基本上可以界定对人类和机器可解的问题；比如我们可以判别哪些努力是在是制造（信息）永动机。
尼克：微分vs差分。是连续到离散。连续简单，离散就复杂。
鲁为民：所以像 Embedding 这样试图将离散问题近似为连续问题，将问题简化到利用目前的手段可解。另外通过概率方法，也可将离散问题连续化 ...
立委：如果某数据的本性就是完全随机（布朗运动？） 不存在任何有效的压缩。外与内如何区分？区分又有何意义？
尼克：有修辞的意义
立委：这类数据本性是不可计算的，但在谜底泄漏之前，只要给数据 模型（or 图灵机）就一定在计算。它在计算或压缩什么呢？
又因为所给的数据一定是有限的，这有限的数据一定会被“误读” 而且一定形成某种内外之别。不完全归纳/回归？？数据驱动的方法 其实不知道 也不可能知道背后的真相。
立委：离散符号的 embedding 比起 1 hot 是降维 降维克服了数据稀疏的挑战 从而为压缩创造条件。但从传统的符号逻辑 用人为的非常有限的离散 features （例如词类与子类）来表示离散符号来看， embedding 是在增加维度。但除了 embedding 还有更好的办法 与上帝对话吗 ？embedding 的维度数，本来就具有任意性、可配置。
白硕：理论上离散的NP完全问题对应的人造数据也都可以“嵌入”连续空间。连续方法对求解有好处吗？@Nick Zhang（尼克）
尼克：看怎么嵌入了，可能对求近似解有用。
白硕：用1 hot那种嵌入。能不能找到结构相似性？比如对变元做一个permutation不变的SAT问题。
尼克：这个permutation复杂性有要求吗？
【立委NLP频道总目录】
