先对以大型语言模型(LLM)为代表的大模型的开源和代码项目的开源做个简单比较： 大模型的开源 代码项目的开源 开放内容 预训练的模型，主要是网络结构和参数，一般不开放训练数据和训练代码（以及训练过程&技巧）。 为实现特定功能或应用编写的代码或脚本。 潜在风险 可能输出有偏见、不准确或误导性信息；存在滥用风险，用于钓鱼、恶意软件编写等。 可能存在漏洞或错误，被恶意利用...

非常认同Andrej Kalpathy在“State of GPT”报告里分享的观点（以下为宝玉搬运字幕版，中文翻译质量很高），结合我的思考进一步阐述如下： 微软2003年Build大会演讲：如何训练和应用GPT 人和大模型之间最大的差距，在于思考过程和追求答案的方向。 人有内心独白，会调动经验，拆解问题，进行复杂的思考过程，追求合理、准确的答案，注重答案从内容到形式的“优雅”，即我们常说的...

先说结论：规模是把双刃剑，平衡点需具体权衡。 从大模型记忆论的观点来看，模型规模越大，参数越多，记忆容量越高，对整体数据分布的把握就越全面，可以增加模型在推理时的工作记忆，生成更具创新性、更多样的结果。但与此同时，随着熵增，高概率候选结果的多样化会呈指数级爆发，这就带来了一个挑战：如何在这些结果中进行优选，使得模型的输出与人类的价值观对齐。 从大模型压缩论的观点来看，大模型的目标是通过压缩世...

医疗除了技术问题以外，也许更重要的，会涉及对人类情感的理解和关怀。尽管AI能处理大量数据，但其在理解人类情绪和个体经历方面有限。这对处理如慢性病管理和心理健康问题等多元健康问题显得尤为重要。 每个病人都是独特的，需要全面、个性化和富有同情心的医疗服务，也就是个性化的诊疗服务。尽管AI能有效处理和分析大量信息，但其决策基于已有数据和已知规则，对新颖和独特的情况可能无法有效应对。 AI系统的构建...

让我们从一个不那么恰当的类比开始——一个人，通过读自己原创的书稿，能受到新的启发、获得能力的提升吗？不必急着回答，因为AI大模型的学习机制，和人类的学习机制，是截然不同的。但可以肯定，至少有一点人比AI靠谱——人不会因为看自己的作品失忆、变坏、变笨，目前的AI呢，还真不一定…… 首先，AI生成的数据良莠不齐，且难以分辨。以目前的大型语言模型(LLM)为例，在生成文本时，通常会在每个步骤中做出...