Llama 3.1,一款 4050 亿参数的开源大型语言模型,已在 Reddit 上泄露,其性能在多个基准测试中超越了 GPT-4o 等闭源模型。该模型支持八种语言,使用了超过 15 万亿个 token 的数据进行训练,预训练数据截止到 2023 年 12 月。Llama 3.1 采用优化的 Transformer 架构,并通过指令微调提高多语言对话的适用性。尽管泄露的 Github 链接已失效,但有替代下载链接可供使用。模型训练使用了大量计算资源,Meta 公司在训练过程中保持了净零温室气体排放。