相比之下，微调模型是专门针对特定任务或用户定制的，通常使用更小但标记更好的数据集。 ChatGPT 就是一个例子，它使用 RLHF（人类反馈强化学习）技术。基础模型和微调模型之间的选择取决于用例。
下图显示研究分为基础语言模型（Base LLM）的开发及其微调。基础模型通常来自大公司和机构，他们的培训费用高达数百万欧元。微调更便宜，因此很受欢迎，但由于缺乏许可证，许多基础模型的商业用途通常是不可能的，Llama1 就是这种情况。
基础语言模型（基础法学硕士）的开发及其微调
盛开
BLOOM是 Hugging Face 的项目，代表了世界上最大的开源多语言语言 医疗实践电子邮件列表 模型，这种变革性的大规模语言模型，正式称为 BigScience 大型开放科学开放访问多语言模型（BLOOM），是通过 BigScience 创建的。作为 BigScience 研究研讨会的一部分，超过 1,000 名人工智能研究人员进行了合作。本次研讨会的主要目标是开发一个全面的语言模型并将其免费提供给公众。
BLOOM 在 2022 年 3 月至 7 月期间接受了约 3660 亿个代币的训练，成为 OpenAI 的 GPT-3 的一个引人注目的替代品。它的特点是拥有1760亿个参数，采用基于Megatron LM-GPT-2模型修改的纯解码器-变压器模型架构。您可以在这篇博文中阅读更多详细信息。
BLOOM 项目由 Hugging Face 的一位联合创始人创建，包括六名主要参与者：
Hugging Face 的 BigScience 团队，
微软 DeepSpeed 团队，
NVIDIA Megatron LM 团队，
IDRIS/GENCI 团队，
PyTorch 团队和
大科学工程工作组的志愿者。
BLOOM 的训练数据包括来自 46 种自然语言和 13 种编程语言的材料，将总共 1.6 TB 的预处理文本转换为 3660 亿个令牌。尽管与其他开源大型语言模型 (LLM) 相比，BLOOM 的性能相当不错，但更新的专有模型（例如 Aleph Alpha 或 OpenAI）在质量上表现出明显的差异。
美洲驼/美洲驼 v2
Meta AI（原Facebook）于2023年2月发布的Llama模型在AI社区引起了巨大轰动。这种语言模型由 Yann LeCun 领导的 Facebook AI Research (FAIR) 部门开发，是一种自回归模型，与 BLOOM 类似。 Llama 最显着的特点之一是其性能优于其他语言模型，其大小是其两倍以上。这主要是由于他的训练时间较长。然而，Llama 的发布却因其许可条款而黯然失色。