Llama和ChatGPT都不算开源

原文：Llama and ChatGPT Are Not Open-Source

文章分析了Meta发布的LLM模型Llama 2和OpenAI的ChatGPT是否真正开源。使用Radboud大学研究员设计的一套标准来给不同开源LLM模型的开放程度进行评分。论文指出，虽然Meta提供了Llama 2的预训练模型权重和文档，但未公开训练数据和训练代码，也未进行同行评审。进一步比较不同模型，论文发现虽有一些小型研究模型开源程度较高，但所有模型在重要的人工反馈强化学习环节和同行评审过程描述都很不充分，这可能会影响研究结果的可复现性。总体来看，商业LLM如Llama 2和ChatGPT虽被标注为“开源”，但实际开放程度有待改进。它们在保护商业机密的同时，也影响了学术研究的公开透明度，这也推动了LLM开发向更真正开源的方向转型。

要点：

• Meta发布了其大型语言模型Llama的更新，命名为Llama 2，并将其作为开源版本发布。
• Llama 2开源版本允许用户访问模型权重、评估代码和文档。
• Meta的开源发布旨在使模型“对个人、创作者、研究人员和企业可访问，以便他们能够负责地进行实验、创新并扩展他们的想法”。
• 不同于其他开源的LLM和软件包，Llama 2在某种程度上比较封闭。尽管Meta已经提供了经过训练的模型，但未分享用于训练模型的数据或代码。
• 在荷兰的Radboud大学的一组AI研究人员的研究中，他们认为Llama 2并不是唯一一个被质疑为“开源”的LLM。他们用多维评估模型的开放性，在一个表格中对15个不同的名义上开源的LLM进行评分。
• 该研究小组认为Llama 2和ChatGPT的开源状态不佳。
• LLM的可复制性问题主要表现在模型的开放性和公开的评审过程上。
• 商业LLM的发布方式避免了同行评审流程，而是通过公司托管的预印本文档进行发布。
• 研究小组对Llama 2模型持批评态度，认为Meta将“开源”用于这个模型是误导性的。
• 尽管这项研究可能促使领域朝着真正开源的模型开发方向发展，但研究人员仍对商业模型在学术研究中的使用持谨慎态度。