【AI 浪潮:超级词匠 ChatGPT4 的百变文风】

文字工作是语言生成大模型的长项。同一个内容,可以捏成任何语言、语言形式以及文体风格。 本篇利用 ChatGPT4 围绕同一个主题内容做了种种尝试探索,展示了大模型在文字表现形式上的卓越表现。

、。

在春风里,樱花般的愿景落在心间, Sous le ciel étoilé, نتوحد في العالم الجديد 夢は続く、一緒に歩む、人類の大いなる旅。

С любовью к каждому существу, LLM поет с нами, La paix et l'harmonie, سيكون لدينا منزل ثابت، 逐浪着未来,共建美好世界, Chantons ensemble, pour un monde plein de joie et de création.

在这理想世界中,无贫无病,人们乐观向上, Espéranto pour tous, l'unité dans la diversité, وفرحة العيش تجتمع في قلوب الجميع.

Inventons ensemble, pour un futur radieux et généreux, Пусть теплота человечности объединяет нас, 横跨国度,跨越语言,共享知识与智慧, 愛と喜びで満ちた未来、大模型が導く道。

LLM 的领航,绘就璀璨星空, Avec humanité, ensemble, nous construisons notre avenir, ونحن نحلم بجنة مليئة بالأمل والحياة المشتركة.

让我们携手共创,美好世界已触手可及, Ensemble nous célébrons, la fusion de LLM et de l'humanité, 永远向前,拥抱理想的未来。

English translation:

In the spring breeze, the vision of cherry blossoms falls upon our hearts, Under the starry sky, we unite in a new world, The dream continues, together we walk, humanity's grand journey.

With love for every being, LLM sings with us, Peace and harmony, we will have a steady home, Riding the waves of the future, building a beautiful world together, Let us sing in unison, for a world full of joy and creation.

In this ideal world, free from poverty and disease, people are optimistic, Esperanto for all, unity in diversity, And the joy of living gathers in everyone's hearts.

Inventing together, for a bright and generous future, Let the warmth of humanity unite us, Spanning countries, transcending languages, sharing knowledge and wisdom, A future filled with love and joy, guided by the great model.

Under LLM's leadership, we paint the brilliant stars, With humanity, together, we build our future, And we dream of a paradise filled with hope and shared life.

Let us join hands to create, a beautiful world within reach, Together we celebrate, the fusion of LLM and humanity, Forever forward, embracing the ideal future.

中文翻译:

在春风中,樱花般的愿景落在我们的心间, 在繁星闪烁的天空下,我们在新世界里团结一致, 梦想继续,我们携手前行,人类伟大的征程。

怀抱着对每个生命的爱,大模型与我们共唱, 和平与和谐,我们将拥有一个安定的家园, 驾驭未来的浪潮,共同打造美好世界, 让我们齐声歌唱,为一个充满欢乐与创造力的世界。

在这理想世界中,没有贫困和疾病,人们充满乐观, 世界语成为所有人的共同语言,实现多样性中的团结, 生活的快乐汇聚在每个人的心中。

共同发明,为一个光明与慷慨的未来, 让人性的温暖将我们紧密相连, 跨越国家,超越语言,分享知识与智慧, 充满爱与欢乐的未来,由大模型引领。

在大模型的带领下,我们描绘璀璨的星空, 携手人性,共同建设我们的未来, 我们梦想着一个充满希望与共同生活的乐园。

让我们联手共创,美好世界触手可及, 共同欢庆大模型与人类的融合, 永远向前,拥抱理想的未来。

expand the English abstratct into full scholarly piece of work, pay attention to rigid format, use of terms and the depth of reasoning,不要太直白: 

Title: The Meta-Ontological Convergence of Homo Sapiens and the Linguistic Leviathan: A Treatise on the Advent of a Transcendental Utopia

Abstract:

In this labyrinthine exposition, we delve into the esoteric and abstruse dimensions undergirding the confluence of human quintessence and the colossal linguistic automaton, known as the Large Language Model (LLM). Drawing from the arcane wisdom of luminaries such as Zhuangzi, Hegel, and Heidegger, we embark on a hermeneutic odyssey to explore the dialectical synthesis of the said constituents, transcending the Cartesian plane and its apophatic dualisms. Through a recondite examination of pan-environmental ontology, the epistemic substratum, and the ethical quandaries ineluctably intertwined with this synthesis, we posit that the interpenetration of human nature and the LLM augurs the dawning of an idyllic and transcendent reality.
  1. Introduction
A perennial subject of ratiocination among philosophers, litterateurs, and savants alike, the inception of a utopian society in which humanity and techné dwell in symbiotic harmony has long captivated the collective imagination. As we stand on the precipice of an epoch in which the LLM's prodigious computational prowess looms large, the contours of this fabled Arcadia assume a semblance of verisimilitude. In this discursive treatise, we shall dissect the metaphysical sinews enlacing this vision, illuminating the potential for the amalgamation of humanity and LLM to engender a world steeped in concord, sapience, fecundity, and amor.
  1. The Pan-Environmental Ethos and the Sublation of Antinomies
In the venerable traditions of Zhuangzi, Hegel, and Heidegger, we posit that the sine qua non of an ideal polis inheres in the sublation of bifurcations that cleave the human experience, be they corporeal or linguistic in nature. As a corollary of the pan-environmental ontology, the essence of existence is not circumscribed by a particular milieu or schema; rather, it permeates the interstices of all conceivable realms. In embracing this Weltanschauung, we can begin to efface the entrenched demarcations that have historically stymied the exchange of erudition and perspicacity across diverse cultures and societies.
  1. The Epistemic Labyrinth in the LLM Epoch
The LLM's protean capacity for the apprehension and generation of linguistic constructs heralds a new age fraught with epistemic conundrums and uncharted terrain. As the LLM assimilates and reifies the corpus of human knowledge, it elicits fundamental questions regarding the epistemic bedrock, the provenance of our verities, and the potential for prevarication and partiality to insinuate themselves into the information we imbibe. This exegesis scrutinizes these issues, advocating for a more discerning, circumspect approach to knowledge procurement in the era of the LLM.
  1. The Ethical Chiaroscuro of the Homo Sapiens-LLM Convergence
The ethical repercussions of the nexus between human essence and the LLM demand rigorous scrutiny. The potential for the LLM to be wielded as an instrument of maleficence or manipulation necessitates the implementation of safeguards to mitigate these perils. Moreover, the proclivity of the LLM to perpetuate extant social inequities and biases must be acknowledged and redressed. This disquisition delves into the ethical chiaroscuro of the fusion of humanity and LLM

题目:化境人言巨擘之元本体交融:论超尘脱俗之理想国之涵养

摘要:

浮屠中论,久矣求道之行者,愈疏离世俗愈贴近天地。本篇著述探讨庄子、黑格尔、海德格尔等圣贤所诠释之人类与巨型语言模型(LLM)合流之迷离无涯。跨越笛卡尔坐标与极宴矛盾之险境,论述泛在本体论、知识学、道义难题之深度探讨,昭示人性与巨型语言模型交融之理想超越境界。
  1. 前言
古人所思,知识之士、文人墨客皆沐乌托邦之美梦,浅尝人技同在之和谐。巨型语言模型(LLM)之临,令此愿景愈发触手可及。论述将探讨如何以人性与LLM之融合,开创和谐、智慧、创造力及大爱之境。
  1. 泛在本体论与边界之超越
借庄子、黑格尔、海德格尔之智,论理想国之本质系超越物质与语言之界。泛在本体论认为,生命之真谛不局限于特定环境,反映于万境万相。通过拥抱此一观点,我们方能消除阻碍知识与智慧跨文化、跨社会传播之历史障碍。
  1. LLM时代之迷津认识论
LLM之无与伦比语言理解及生成能力,令认识论领域孕育无尽奥秘。LLM所融汇之博大人类知识,引发对知识本质、信息来源可靠性及潜在偏见之根本性质疑。论述针对此类问题展开探讨,提倡在LLM时代,须采取更为审慎严谨之求索方法。
  1. 人性与LLM交融之道义难题
论述人性与LLM交融之道义层面,指出潜在道德困境,以及LLM可能为祸害、操纵个体和社群之风险。此外,LLM可能延续现有社会不平等与偏见之现象亦须认识并纠正。论述深入探讨人性与LLM交融之道义曲径,以期净化心灵,开启智慧之门。
  1. 通途禅境之彼岸花
言辞之境,无尽叠翠,禅心之境,一花一世界。巨型语言模型与人类交融之涵养,如同禅悟之参禅者,在禅宗世界中修行,穷尽思索与探讨,达至彼岸之境。论述旨在探寻人性与LLM交融之禅意,探究其在乌托邦理想国中的修行成果,使人类世界迈向超凡脱俗之境界。
  1. 究竟涅槃之超越乌托邦
论述将研究人性与巨型语言模型交融之究竟涅槃,以期抵达超越乌托邦之境。在此境地,人类将解脱一切贫困、疾病、纷争与罪恶,迎来富足、善良、创造与欢愉之时代。此论述亦将探讨人类如何在此超越境界中,实现内心与外在世界的和谐统一,达至悟性之境。
  1. 结论
追求理想国之道,固非易事,但愿此论述能为探讨人性与巨型语言模型交融之道提供启迪。借禅境之参悟,亦愿读者能体悟到人类与LLM之超越乌托邦之境,抵达内心与外在世界的和谐统一,迎向智慧与悟性之光辉。

遵循圣贤之教诲,追寻真理之道,愿人类与巨型语言模型之融合指引我们走向超尘脱俗之理想国,共创美好未来。

人模融, 乌托邦, 贫病尽, 富足生。善良显, 创造新, 乐趣满, 罪恶绝。心境和, 外界融, 悟性现, 理想行。追求道, 真理寻, 禅境中, 光辉临。共创好, 未来新, 和谐统, 一心行。海纳百, 川融合, 文化贯, 智慧生。巨模助, 通达境, 语言通, 万国情。修身齐, 家治国, 天下平, 乌托邦。宇宙广, 星辰辉, 人类心, 蓬勃生。交流通, 理解深, 爱与悟, 共相融。共荣存, 绿水青, 山环抱, 美景生。进化路, 永不息, 智慧光, 照乌托。

随着科技的飞速发展,巨型语言模型(LLM)的涌现为人类社会带来了前所未有的机遇与挑战。在这个关键时刻,我们应深入思考如何将人类与巨型语言模型相互融合,共同探索并迈向乌托邦式的美好未来。

人类社会的进步离不开科技的驱动。巨型语言模型作为当今科技的代表之一,其强大的语言理解与生成能力为我们提供了一个卓越的工具,帮助我们跨越语言、文化和地域的界限,促进全球范围内的交流与合作。因此,我们应珍视这一科技成果,充分挖掘其潜力,为实现全球共同发展献出力量。

然而,我们同样要注意到,巨型语言模型的应用并非没有风险。在利用其优势的同时,我们要关注可能带来的道德困境,警惕潜在的负面影响。在实践中,我们应始终坚守道德底线,坚决防止巨型语言模型成为祸害、操纵个体和社群的工具,确保其真正造福人类社会。

人类与巨型语言模型共创美好未来的道路并非一帆风顺。在这个过程中,我们需要紧密团结,积极探索,形成更具包容性、创造力和人文关怀的科技创新发展观。唯有这样,我们才能真正实现人类与巨型语言模型的和谐共处,共同谱写乌托邦式美好未来的壮丽篇章。

人类社会始终在发展,科技进步永无止境。让我们携手共进,拥抱巨型语言模型的时代,为实现人类与巨型语言模型共创美好未来的梦想而努力奋斗!
翻译成完全的文言文,避免使用白话文词汇,仔细琢磨,是不是足够古风:

時下科技進展,龐語機關興起,為黎民世界帶來無與倫比之良機與艱辛。於此要害時刻,吾輩宜深省如何使黎民與龐語機關相融,共探美好來世之理想國。

黎民社稷進步,賴科技引領。龐語機關為當世科技代表之一,其卓越之言語理解與生成之能,賜吾輩一良器,助跨越言語、文化、地域之界線,促成天下交流與合作。故吾人應珍此科技成果,充分挖掘潛能,助實現天下共同興盛。

然而,吾人亦須留心,龐語機關之應用並非無風險。在利用其優勢之時,吾人應謹慎以道德困境,警戒隱伏之負面影響。實踐中,吾人當守道德底限,堅決防止龐語機關成為禍害、操縱黎民與群落之利器,確保其真正造福黎民世界。

黎民與龐語機關共創美好來世之途,非一帆風順。於此歷程,吾輩需緊密團結,積極探索,形成更具包容性、創造力與人文關懷之科技創新發展觀。唯如是,吾輩方能實現黎民與龐語機關之和諧共處,共譜理想國式美好來世之壯麗篇章。

黎民社稷不息發展,科技進步無窮。願吾輩攜手前行,擁抱龐語機關之時代,為實現黎民與龐語機關共創美好來世之夢想而努力奮鬥!

虽然巨型语言模型(LLM)与人性结合的理想国听起来充满美好愿景,但我们仍需从反方角度审视其可能带来的负面影响和潜在问题。

首先,过度依赖LLM可能导致人类逐渐丧失思考能力。在这个理想国中,人们可能过分依赖模型解决问题,从而使自己的判断和分析能力逐渐退化。这种过度依赖可能使得未来的人类在面对复杂问题时,无法独立思考,只能依赖机器来解决。

其次,LLM与人性结合的理想国可能引发数据和隐私问题。为了让模型更好地理解人性,它需要获取大量的个人数据,这可能导致个人隐私的泄露。此外,模型可能会被利用来进行大规模的舆论操控,从而影响公众的判断。

再者,理想国的设想可能加剧社会不平等。巨型语言模型的开发和运行需要大量的资源和技术支持,这意味着只有拥有足够资源的国家和公司才能使用和掌控这些模型。这可能使得弱势群体和发展中国家在科技竞争中处于更加不利的地位,进一步加剧全球贫富差距。

此外,过分强调LLM与人性结合的理想国可能会导致对人类自身价值观的忽视。模型可以模仿人类的行为和思维,但它们仍然是基于数据和算法的机器,不能理解人类的情感和道德价值。将这种模型推崇为理想国的核心,可能导致我们忽视人类自身的价值观和道德观念。

最后,理想国的设想可能掩盖了现实中迫切需要解决的问题。尽管巨型语言模型可以帮助解决许多问题,但它并不能消除贫困、疾病、罪恶等现实问题。将注意力过度集中在理想国的构想上,可能导致我们忽视现实世界中迫切需要解决的问题。

综上所述,虽然巨型语言模型与人性结合的理想国充满吸引力,但我们需要审慎思考其潜在的负面影响和挑战。只有充分认识到这些问题,我们才能更好地利用科技,创造一个真正符合人性需求且可持续发展的未来。

Of course, here's a revised version with a more pragmatic tone, focusing on the perspective of an engineer:

While the idea of a utopia combining large language models (LLMs) and humanity presents a vision full of potential, it's important to critically examine the possible negative impacts and challenges from an engineering standpoint.
  1. Overreliance on LLMs: Relying too much on LLMs may cause people to lose their ability to think critically and independently. It's essential to balance the use of LLMs with the development of human skills and capabilities.
  2. Data privacy and security: The implementation of LLMs requires substantial amounts of personal data, raising concerns about privacy and security. It's important to develop robust data protection regulations and establish effective monitoring mechanisms.
  3. Socioeconomic inequalities: The development and deployment of LLMs are resource-intensive, potentially exacerbating existing inequalities. Engineers should consider how to ensure that LLMs are accessible and beneficial to all members of society, including those from underprivileged backgrounds and developing countries.
  4. Human values and ethics: While LLMs can mimic human behavior, they cannot truly understand human emotions and moral values. Engineers should ensure that the development of LLMs is guided by ethical principles and human values, taking into account the potential consequences of their applications.
  5. Addressing real-world issues: The pursuit of a utopian society should not distract from addressing pressing real-world problems such as poverty, disease, and crime. Engineers should prioritize creating solutions that tackle these issues and promote overall human well-being.
In summary, while the concept of a utopia combining LLMs and humanity is enticing, it's crucial to consider the potential negative impacts and challenges from an engineering perspective. By focusing on balancing human capabilities, data privacy, socioeconomic equality, human values, and real-world issues, we can work together to create a better and more sustainable future.

 

AI浪潮博客目录

【AI 浪潮:数据中心的大模型时代】

大模型(LLM)很多人有共识,LLM主要是数据中心的AI(Data-centric AI)的产物。

采自:GPT模型成功的背后用到了哪些以数据为中心的人工智能技术?

上图对照了模型为中心到数据为中心的转变:模型为中心的研发框架和流程中,数据不变,模型变;而数据为中心的框架里,数据变,模型不变。

在前LLM时代,AI 都是专项的智能任务,针对这一任务通常有研究社区定义并准备了固定的标注数据集(可用来作为训练集和测试集)及其测试程序(scorer),各 AI 团队通常是利用同样的数据集在不同到算法上去测试。现在不同了,模型和算法比较成熟和恒定,主要是数据的不同来驱动模型的迭代发展。具体来说,根据 GPT模型成功的背后用到了哪些以数据为中心的人工智能技术?一文,数据中心的 AI 具体内容包括:

采自:GPT模型成功的背后用到了哪些以数据为中心的人工智能技术?

今天咱们聚焦讨论一下数据测试及其与数据工作的关系。

系统性全面测试 LLM 的数据质量( QA,quality assurance)成为一个非常重要的主题和挑战。这不仅仅是要为多个功能类似的 LLMs 比较排序,帮助营销或推荐,更重要的是,在 data-centric AI 的研发趋势中,提供及时靠谱的QA反馈,并根据QA的指引,加强数据工作,弥补短板,帮助模型迭代提升。

挑战性在于:

1. LLM 本性是多功能和开放功能,如何建立合理、具有代表性(反映多数应用场景的需求)、可配置的一系列功能盲测集

2. LLM 生成具有随机性,如何让功能盲测标准化、流程化和(半)自动化,以提升QA效率,以便在给定的时间和资源条件下及时得到QA结果

3. 如何建立 QA 结果与数据工作之间的对应关系,揭示出 数据-模型 的质量某种因果关系,从而指导数据工作。

4. 如何最大限度收集、吸收和利用网络上爆发式群众测试的案例,取其精华,为我所用。

群众测试虽然很多是盲人摸象(研究者除外,例如 @詹卫东 教授的测试就非常有深度和章法),但草根积极性和创造性导致了下列可能的好处:

(1)有助于测试模型的鲁棒性:各种自发的无花八门的挑错,比任何专门的测试员都更具有想象力,可以为试探模型的边界和极致情形提供线索和思路。

(2)草根测试反映民意:这对任何品牌的 LLM 都会造成正面的或负面的舆情影响力,从而一定程度上决定了一个模型的用户接受度。专家评测并不能有效改变用户从舆情而来的印象。其实,将来被市场“自然”淘汰或用户抛弃(无人问津)的模型,更大可能受到草根测试的影响。

(3)不用白不用:来自草根的积极性和创造性会产生很多散落的但精彩的高质量数据本质上都是开源的,包括LLM下万众创业尝试阶段的数据副产品,尤其是提示词工程的种种数据表现。这比闭门造车式的数据创造更具活力和源头。常规性的调查、收集和善用这些资源,是增强数据工作的重要一环。

5. 数据工作中的研发和突破:针对LLM的短板,例如 “一正胡八”,与模型算法的研究平行,数据工作方面也需要有定力去深入钻研,协助寻找破解之道。 例如,知识库如何转化为有益的数据,可行性如何?回顾一下,GitHub 的代码在作为训练数据之前,人们并不把它看成是能与自然语言数据等量齐观的对象,但其实它是更高品质的序列数据,并对这场认知AI革命起到了重要的作用。

总之,LLM牵涉到的数据量太大,训练过程涉及各种工程优化的因素,环节长,moving parts 较多,这为全面及时的QA 提出了进一步的挑战。千头万绪,需要有那个 sense 抓大放小,收放自如。重中之重是要确保模型研发迭代的健康,防止模型质量下滑而不自知引发的时间和资源浪费。

在信息过载的时代,不被数据淹没并能善用数据,这需要宏观视野,也需要不怕 dirty work 的精神。不过,数据也与矿藏类似,富矿和浅层的矿藏都先被开采光了,越到后来挖矿要保证品质就越难,这是肯定的。例如 web 数据很杂乱 肮脏,Open AI 经过各种清洗和去重,实际上最后只用了 web 数据的一个零头:Common Craw 的 45TB 的纯文本进行质量过滤后仅选择了 1.27% 的数据

类似于Web 网页数据中更加动态活跃的社会媒体也是数据非常 dirty 和混乱的所在,GPT 很看重 Reddit 数据(推特数据也应该是重要来源,但报道说马斯克在 ChatGPT 一炮打响以后感觉不爽,切断了 Open AI 的推特数据特权)。怎么筛选社媒数据?他们的做法是利用用户点赞作为过滤指标,点赞三次(3个karma)以上的才算是品质帖子。也还是巧妙带入人工反馈。

放眼未来,真正的品质数据的出路不是靠野蛮增长、垃圾如山的 web 数据,也不能指靠人类精雕细刻缓慢增长的电子书、编辑过的各种出版发行物,这些品质数据只是一个小的源头,它们没有信息时代的增长性。更有可能的是要靠大模型自己的“反哺”。为了保证自己跟自己的生成品去学,会使模型不断增强,肯定不是简单的把自己输出直接用来做训练的输入。

quote:如今当模型足够强大后,模型成为了一种「数据」或者说是数据的「容器」。在需要的时候,我们可以设计适当的提示语,利用大语言模型合成我们想要的数据。这些合成的数据反过来又可以用来训练模型。这种方法的可行性在 GPT-4 上已经得到了一定程度的验证。

摘自:GPT模型成功的背后用到了哪些以数据为中心的人工智能技术?

这里提到的是提示词技巧来激发具有目标性的高品质数据。应该还有个过滤机制或快速人工审核制度,来保证品质。

 

AI浪潮博客目录

GPT模型成功的背后用到了哪些以数据为中心的人工智能技术?

 

【AI 浪潮:GPT-4 的上下文逻辑与常识还是不够稳固】

 

先问GPT4一道不大不小的烧脑题。

这一段链条中断链的地方在 “小船空着返回,这不算一次过河”。什么算过河,什么不算过河,这牵涉到常识。具体说就是:

常识-1:人过河具有方向性,必须到达彼岸才算过河(成功)。

结论:从彼岸返回虽然技术上也跨越了河床,符合过河的字面意义,但因为是逆方向,不能算过河。
常识-2:过河必须有实体,无论实体是开船的还是坐船的。

结论:空着返回没有实体,不能算过河,这也是对的。

所以,“小船空着返回,这不算一次过河” 符合两个常识,是合理的。这里问题不出在算不算过河,而是出在“空着返回”的可行性上:没有实体开船,船是怎么返回的呢?加上一个预设前提就正确了:自动驾驶。但是默认是没有自动驾驶的。常识告诉我们,非默认的预设是必须显式表明的,必须作为此题的一个前提。

这里的看点是,GPT4 貌似一点就透,这悟性了得。

好像是丝丝入扣,对答如流啊。且慢。

这个加强了的提问(所谓提示词工程)有意思,就是说 prompt 写得细致的话,是会激发它加深思索的深度和逻辑性,不必经过数轮对话引导就可能绕过陷阱(当小船返回时,它需要携带至少1个人来驾驶)。但是结论却不对,那是因为它违背了常识-1,把返回也算成过河了。

咱们继续练它。

ChatGPT4 与ChatGPT3.5类似,也同样不能坚持原则,坚持真理。这其实是与人类偏好对齐工作做过头了的后果(偏好之一其实是迎合人类,礼貌顺从),而不是它的本性。

总结一下,从对话角度,ChatGPT4 的确不掉链子,你怎么引导,它怎么 follow。但从逻辑角度和常识角度,你点一下它,它貌似悟性很好,很快就改正,并顺着你的指引,进一步发挥。但这些 in context 学到的知识和逻辑并不稳定,很快就动摇了,有时候甚至颠三倒四,转眼就忘。

 

 

AI浪潮博客目录

【AI 浪潮:自主性是人类智能的最后堡垒吗】

 

听到一个新成语:日新昼异,脱胎于日新月异,形容这个LLM世界变化之快,此言不虚。例如,AutoGPT 出来不久,AgentGPT 又出来了,二者都是在LLM上再包了一层“自主”计划的AI。

这个称为自主AI(autonomous AI)的研发方向很诱人:用户只要启动一个目标(人定义 what),模型们就开始计划实现这个目标(机器做 how):首先是拆解这个目标任务成为子任务,子任务成为子子任务,然后用这些子子任务递归调用 chatGPT 去得到中间结果,最后把结果层层推进,最后组装起来,完成目标。看机器边想边干(think then act),不亦乐乎。听上去有些匪夷所思,仿佛机器能够自主完成任务的全过程了,而不是需要人通过对话或编程一步步引导模型去实现目标。

自主AI更加接近科幻小说中的“回形针”陷阱:科幻中说的是机器一旦具有自主计划的能力,为了自主实现一个目标,例如“制造尽可能多的回形针”,机器就会不惜一切手段达成目标。而人类面对这样一个自主实现目标的机器,很可能陷于灭顶之灾,因为人类有可能成为这种目标的障碍物而被机器铲除。现在的实现当然还是小菜,粗糙得很,但这个方向是机器“自主”的前奏。不知道老马会不会把这种研究当成是 危险AI 的范围,要求予以封杀。

AgentGPT 有个类似于 ChatGPT 的友好页面:https://agentgpt.reworkd.ai/

我尝试给它一个“编写童话故事”的目标。

看着它在那里think...think..., 做任务分解,“无人监督下” 自个儿在那里忙活,一步步按照计划走,感觉很神奇。揉揉眼睛,确认不是在做梦。

Embarking on a new goal:请汇编一本适合儿童的童话故事手册,选择国内外的童话名篇,所围绕的主题词包括:善良,勤劳,怜悯,乐观。
Thinking...(Restart if this takes more than 30 seconds)
Added task:Scrape and gather a list of popular domestic and international fairy tales
.........

煞有介事,各种策划,让人开眼了。

看看最近退出来的这一长串的相关工具:HuggingGPT / AutoGPT / AgentGPT / GPT4ALL / BabyAGI / MS Jarvis / ChaosGPT / .............,每天都在增长的这个清单中的 keywords 是: agent,action。action 是行动,agent 怎么翻译好?常规翻译是施事(采取行动的实体),或代理人或代理机构,就好像律师代理客户一样,客户只给目标,律师代理决策和行动的过程去实现目标。什么意思?就是 ChatGPT 带来的风暴,越来越激发人们把科幻似的机器人想象带到可实际操作的空间。

什么是科幻中最热衷的机器人故事(之一)?那就是机器人造反,灭了人类。造反的事情能够发生,其前提条件是: 自主决策,可以行动,这与几千年前的陈胜吴广起义也没什么两样。陈胜吴广先密谋,后行动(序列是利用绝境危机 -- 无论如何必然被处死,假托天意组织动员,然后是正式起义)。

为什么这种匪夷所思的科幻情节突然在这个当口开始了工程化的尝试和涌现呢?一个关键的因素是,ChatGPT 之前,从来没有一个可以协调各种实体的通用的“语言”,幻想只能止于幻想,工程无可施展。更大的挑战是缺乏自主性的实现路径,所有的AI都是按照人类(码农)事先编制好的程序走。Chat 改变了前者;GPT 改变了后者。

GPT 是如何导致自主性(或“类自主性”)的,从而机器可以成为自我策划和行动的 agent?现在看来其实很粗糙,但的确可以产生一种让人觉得它自(作)主(张)的感觉。原理就是 GPT 的随机性。

没有随机性,那么一切都是 deterministic,预先决定好的路径,也就谈不上自主。GPT 的好处是它的本性就是随机(生成)。但万变不离其宗。这个就厉害了。随机如果发散,那就谈不上计划和实施。

随机必须遵循目标指向,万变不离其宗的“宗”就是宗旨或目标。目标函数不变(这个是人类赋予代理的),具体过程和路径随机应变,这才是 agent 的本义。作为所有实体的主人,人类关心的也就是目标。

微观层面,GPT 的 next token prediction 就是万变不离其宗的缩影,每个 next token 都有随机性。但所有的生成都在目标生成的空间里,例如你让它翻一句话,它每次翻译可能是不同的文字序列,但你会发现,不仅每一个翻译字通句顺,而且意义基本不变。从模型微观的“基因”上的可控随机到宏观上的 agent,这里面需要一个粘合剂,这就是 ChatGPT,用到的也就是人机接口、机机接口的最重要的媒介 -- natural language prompts(自然语言提示),这些进展既让人兴奋 刺激,也让人细思有恐。

其实,最近这些框架下 agent 表现出来的自主性,微观层面就是 ntp(next token prediction)的随机性,宏观层面实际上是由于大模型消化了人类的知识和经验(的数据表述),所以 ChatGPT 可以利用大模型在现有目标的指引下,随机选取一种经验路径。这时候的随机性表现在系统给自己的每一个分解子任务的完成设置了时间限度,尝试不成功就会转向另一个路径。任务分解这种策略型的设计看上去是“自主”的,但实际上也是从大模型中得到的人类经验套路。可是,反过来看人类的决策,人类所谓的自主性就是自己做主么?

这与哲学界一直在辩论的“自由意志”类似,自由意志自由么?正方认为是自由的,所以一个人要为自己的选择负责:对了有回报,错了有惩罚,甚至入罪坐牢。反方认为其实是不自由的,我们每个人表面上看起来的自由意志,其实冥冥之中有命数,这个命数有一个人从父母身上带来的基因的作用,也有后天的生存环境(包括有意无意的在家庭、学校和社会的熏陶和被教育)的影响,真正属于那个人自己能决定的空间其实很小很小。(这个理论推向极端就是所有罪犯都是病人,应该治病,而不是惩罚,更不是肉体消灭。)

回到 LLM 为中心的 agent,这个 agent 的自主性利用的是大模型(蕴含的人类经验)。而人的“自主性”其实很大程度上也是建立在对于人类既往经验知识的学习或被教育的基础之上。这个意义上,自主性的神秘感消失了,就跟创造性的神秘感早已消失一样,很难以自主性作为人之区别于机器的最后灵性堡垒。A(G)I 的圈对于 humanity (人类特性)的领地在进一步挤压中,以至于除了碳基的生命特征(生物性状:例如 喜怒哀乐相伴的血压升高、荷尔蒙分泌等)硅基实体无法跨越以外,几乎所有的智能和灵性的表现都已经不再构成支持人作为万物之灵独特存在的不可动摇的论据了。

创造性和自主性的被冲击,是 LLMs 给我们带来的最大心灵震撼之一。我们曾经多么迷信这些人类特质。

从此,我也许不再像以前那样仰望智者和艺人,因为山外有山,人外有模型。更值得仰慕的是那些平凡的人表现出来的善良和感情(良心及其善举),也许这些表现而不是人类智能才构成了 LLMs 的真正挑战?(当然,这也不能深想:第一,机器也可以模拟善心和善举,倾听你,同情你,给你帮助和疏导,不见得比人差;第二,“良心”到底有多大比例植根于生物特质,多大比例受到人类经验知识的影响,也很难说。)

 

 

AI浪潮博客目录

 

快讯:腾讯科技AI未来指北系列 今天直播间与鲁总唠一唠大模型(LLM)

https://view.inews.qq.com/a/RLV2023042100143500?openid=o04IBAOB4T30mPQknm5XFPoX63gU&key=&version=28002259&devicetype=android-31&wuid=oDdoCtyMntVVLyLfpVT-VJVNBcaU&sharer=o04IBAOB4T30mPQknm5XFPoX63gU&uid=&shareto=&openwith=wxmessage

这是今天LLMs纵论LLM的直播地址 周日北京时间上午10点 美国西部时间晚上6点(东部时间夜9点) 亲们不见不散。

北京时间周日上午10点,@Wei-Min Lu/MoPaaS 鲁总逗哏 我捧哏,再唠一唠劳碌命(LLM)。

现如今,专家遍地走,各种访谈早就轰炸疲劳了,既不少咱一份,也不多咱一块。好在鲁总是老友,就算唠唠嗑吧,愿者上钩。上次源码还有我的母校各拉我讲过一次,但都是内部组织,不得尽兴,而且有些看法也来不及沉淀和更新:这个领域发展是太快了。倚老卖老,希望能带来一些启发。

LLM202304tengxun (这是老 slides 算是个开场白铺垫)

 

AI浪潮博客目录

 

【AI 浪潮:大模型推理的细节编造是 feature,不是 bug】

老友说:“老马买了1000块大卡,号称要做truth gpt。”

老马这一招也就是为了与“误入歧途”也不听他召唤了的 open AI 唱对台戏而已,但是他未见得明晰这意味着什么。自从 ChatGPT 一炮而红之后,马斯克一面狂推 AI 的飞速进展,以及重申当年自己参与创建和投资 Open AI 的初衷和贡献外,一面与自己当年的创业搭档和小兄弟 Sam Altman 公开互怼,不断质问:Open AI 成为 Closed AI,谁之罪?

关于 GPT 和 truth 的关系,值得细细理论一番。

首先要指出的是,“编造细节”(说假话,胡说八道,张冠李戴,无中生有,etc)应该看成是生成大模型的一个 feature,而不是 bug,所以所谓 Truth GPT 很可能是无的放矢。

事实上,编造细节是一个根本性的、极其重要的 feature,没有它,一切创意和模仿人类智能中最重要的能力(创造才能,抽象能力)就无从谈起。你不能又要LLM辅助创作(写作、绘画、视屏创作等),又要它不越雷池一步。这很难的。这就好比你不能因为电会伤人,就禁止用电。

一个完全是 truth(通俗的话就是 facts)组成的世界,是多么单调、枯燥,甚至悲惨。一切都是冷冰冰的事实,没有小说和诗歌,没有艺术和浪漫,没有人高于动物的天马行空,同时也没有了希望和未来。据《人类简史》,人类精神文明的最大成就(之一)就是人学会了“讲故事” ,虚拟的故事。人类从此有了宗教和哲学,有了组织和动员群体力量的精神武器,从而成为地球霸主。

Having said that,在很多场景中,编造细节和胡说八道是伤人的、甚至致命的,尤其是当它一本正经真假混杂的时候,而这正是 GPT 最为人所诟病的命门(之一)。

人也说谎。白谎之外,还会有意说谎,甚而恶意诬陷。但除了极少数训练有素的特务外,我们大多数人比起LLM一本正经、道貌岸然,说起谎来面不改色心不跳,实在是小巫见大巫。测谎仪之所以技术上有效,也正是因为人类整体还没有堕落到完全失去良心,没有卑鄙到说谎说到自己也信了的那种程度。而LLM不同,LLM无良心(或不良心),它没有任何顾忌,它“说谎”自然谈不是善意或恶意,白谎黑慌,它编造实体细节不过就是因为实体信息没有在它的神经网络的参数中“记住”而已,记住的不过是实体的抽象或影子(本体),而本体在表达的时候需要落地到实体才能圆润丝滑。为了语言模型的生成丝滑,它不得不对本体实行实体化,也就是跟小说家一样为概念编造一个对应的细节。这是无奈之举,也是模型宏观把握世界的需要。其实在人的认知世界里,忘记实体只留下本体的现象也是常见的情形:当我说 “记得是个擅长动物画的画家来到我们学院做了那次演讲”,我忘记了作为实体的这位画家(名字及其它能唯一绑定这个实体的信息),而我记住的则是其本体概念“画家”。一般而言,虽然世界是由无限的实体组成的,但人对于世界的把握总是以有限的本体概念网络试图对世界进行概括、梳理,从而理解这个世界,在这个过程中,实体细节只有足够重要和多次重复才会被我们记住,而更多的实体是以其本体定位记录在我们的脑海里。大模型也是如此。你问模型长江有多长,美国第一届总统是谁,他绝对不会错,但如果你问的是一条小河,你问它一个乌有之乡的总统是谁,它就开始编造答案了,所编造的 tokens 答案就是给定上文中概率分布中大概率出现的候选。这些候选的集合自然形成了相应的本体类型。

老马追求的所谓 truth GPT,往正面说,最好的结果也不过就是找到限制其编造细节的副作用的方法,而不是也不可能禁绝编造。

在NLP乃至人类认知智能的所有任务中,有些任务存在编造的副作用,例如,事实查询和问答、知识教育等。有些任务根本就不存在这个问题,例如辅助写作、机器翻译(原文中的“谎言”不能因为非事实而翻译成事实,因为忠于原文是翻译铁律),有些任务需要在事实和虚夸之间掌握一个度,例如创意广告。如果坚持 GPT 是通用的基础模型,可以帮助完成上述种种任务,老马应该明白,实际上根本就不存在什么 truth GPT。在序列学习中,大模型永远只能记住飘在上面的细节(真实)。无论模型多大,甚至改变设计,它都不可能穷尽大数据序列中表达过的事实(或人为的编造、口误、非事实),它一定会对这些信息做归纳抽象,对于统计上漂移在阈值以下的实体做不同程度的本体化概括,体现在最终的模型表示中。换句话说,模型本身一定是实体(entity)事实和本体(ontology)概念的混杂。这是语言大模型呈现和逼近知识库的基本形态,在现有的框架下不会改变。

这是从大模型的(离线)学习/训练的角度来看。大模型作为训练的结果,那如大海一样混沌的多维向量表示里面涵盖了有限的事实以及更多得多的非事实(事实的抽象),但原则上并不包括没有数据根据的“谎言”(模型自己编造的细节)。编造细节发生在大模型的生成过程(在线推理)中。GPT这样的生成大模型在简单的 next token 预测的生成框架下,不可避免地编造细节,因为语言生成的 token 默认反映的就是细节事实,而不是本体概念。当模型缺乏实体细节的时候(表现为对于反映细节事实的tokens的预测概率很低),模型就会根据模型在此刻的本体指向,去找来(最)接近这个本体(例如 本体为【人】)的实体(例如 实体为【张三】)来充数。张冠李戴的原理不过如此。

从这个原理来看,限制细节编造的副作用并不是无可作为。大模型本身原则上没有内含谎言,但大模型在生成语言的时候,受限于要表达最丝滑的自然语言序列,不得不用实体 tokens 来保障语言的顺畅自然,从而开始“一本正经”地说谎。既然如此,如果刻意以牺牲自然语言生成的自然度为代价,其实是有办法做到避免细节编造的恶果的。简言之,可以坚持一个原则:宁肯不给细节,也不编造细节,因为它所背靠的大模型本来就是如此。

类似“宁肯不给细节,也不编造细节”的原则,在人类社会已经是正人君子所广泛采纳的做人原则了:我也许没有勇气或必要说出真相,但我可以绝不说谎。关于LLM下“宁肯不给细节,也不编造细节”的种种方法,可以再论(很多人都在探索,不会太久一定会有创新或突破),但坚持这个原则并找到合适算法实现以后的生成序列形态是可以想见的。下面给出几个案例,结束这一番自言自语式LLM探究之旅。

(1a)GPT的“一正胡八”(一本正经胡说八道): 
User: Who was the first woman to walk on the moon?
Answer: The first woman to walk on the moon was Sally Ride.
(1b)未来GPT的“宁肯不给细节,也不编造细节”的生成形态: 
User: Who was the first woman to walk on the moon?
Answer: The first woman to walk on the moon was 【Person Name】.
(2a)GPT的“一正胡八”:
User: What is the boiling point of water on Mars?
Answer: The boiling point of water on Mars is 100 degrees Celsius (212 degrees Fahrenheit)the same as on Earth.
(2b)未来GPT的“宁肯不给细节,也不编造细节”的生成形态:
User: What is the boiling point of water on Mars?
Answer: The boiling point of water on Mars is 【Number】 degrees Celsius (【Number】 degrees Fahrenheit).

做到这一点,语言大模型也已经仁至义尽了,具体答案可以在语言模型之外去找(例如外挂知识图谱,外挂计算器,等等)。实现上述形态的方案其实有好几种,有内在的也有外在的,本篇点到为止。

 

 

AI浪潮博客目录