例如模型是仅提供应用程序编程接口还是完全可访问其源代码决定了模型是完全开放还是表面上开放。尽管声称的预训练数据公开可用来源可能传达出一种透明感但其训练数据集并不容易获取。评估不同系统开放性的研究人员提供了一套颜色编码的多维标准这些标准基于源代码数据和权重的可用性许可代码和架构的科学文档以及系统的访问方法通过软件包协议或。许多来自大公司的大型基础模型似乎受到以下问题的困扰未记录的从网络上抓取的数据关于从人工反馈过程中进行的强化学习的信息很少以及缺乏同行评审的凭证。
修改西方偏见的训练数据以及这些模型的嵌入式逻辑和文化背景的解决方案并不总是收集更多数据因为更多的语言数据也意味着更多的偏见。正如其他人所说从更大的模型调整和微调本地模型的权衡至少在早期阶段只会将更精确的 新加坡 whatsapp 数据 本地模型的本土开发转移到对既有参与者的依赖。从头开始训练东南亚本土的基础模型在这方面有几个地区例外在从头开始预训练单语言和多语言模型方面脱颖而出的的和的。语言定制的专有标记器从头开始预训练的。在环境中标记器将单词或文本流转换为数字数据单位因为模型只能处理数字。
标记是模型可以处理的最小文本数据单位。在的案例中使用了万亿个标记相当于磁盘上的。尽管的大部分预训练数据来自互联网但必须对其进行预处理和调整以更好地反映该地区的语言分布。表示的训练数据包含的东南亚语言内容的英语内容其余为中文内容和代码。虽然仍然主要使用英语源进行训练但与的不到相比这意味着东南亚语言训练数据的使用率要高得多。值得注意的是选择从头开始预训练的一个关键原因是确保只使用非版权数据源。在不披露数据源的情况下对大型现有模型进行微调未来可能会出现严重的版权纠纷。