发布于 

人和大模型之间最大的差距

非常认同Andrej Kalpathy在“State of GPT”报告里分享的观点(以下为宝玉搬运字幕版,中文翻译质量很高),结合我的思考进一步阐述如下:

微软2003年Build大会演讲:如何训练和应用GPT

人和大模型之间最大的差距,在于思考过程和追求答案的方向。

人有内心独白,会调动经验,拆解问题,进行复杂的思考过程,追求合理、准确的答案,注重答案从内容到形式的“优雅”,即我们常说的”信·达·雅“。人类思维涉及更深层次的推理和判断,结合自身人格,做出对道德、情感和价值的独立考量。更会对答案进行反思和批判,从内外得到的反馈中,得到精神享受或改进经验。

相比之下,大模型(典型如LLM)没有内心独白,背靠超级广泛的事实知识,通过上下文关联调度工作记忆,追求全面综合已知语料达成的内容和形式上的最佳外推,或模仿。大模型的目标,往往在于以大量数据为基础,给出”不跑偏“的延拓,而非像人类一样进行复杂的思考过程。至于思维链,也是在上下文引导下对思考过程描述数据的模仿。最新的研究表明,大模型有一定的进行隐性”反思“的能力,即对于质量不高的回答,”心“里往往是”有数“的,但机制如何、是否鲁棒、如何利用尚无定论。

提示(Prompt)的出现,一定程度上弥补了这两种认知架构之间的差异。通过设计有效的提示,人们可以引导大模型的输出,使其更接近人类的思考方式和期望的答案。提示可以提供上下文、约束和指导,使大模型更好地理解问题,并生成更准确、相关和符合人类期望的回答。本质上,就是用心智模型,引导模仿过程,达成符合我们对”智能“预期的答案

因此,提示的使用,在人与大模型之间架起了一座桥梁,帮助弥合了两者认知架构的差异。这使得大模型能够更好地满足人类需求,并在特定任务中展现出更高的准确性和可用性。