OpenAI推出Gpt-oss-120b和Gpt-oss-20b,将最先进的模型带到本地设备

简要

OpenAI 发布了两个强大的开放权重模型,gpt-oss-120b 和 gpt-oss-20b,使得在没有互联网连接的情况下实现先进的本地 AI 性能,标志着开发者可及性的一大步。

OpenAI 推出 gpt-oss-120b 和 gpt-oss-20b,将最先进的模型引入本地设备

人工智能研究组织OpenAI宣布发布两个先进的开放权重语言模型,分别为gpt-oss-120b和gpt-oss-20b。这些模型在实际应用中表现出强大的性能,同时保持低运营成本。根据灵活的Apache 2.0许可证发布,它们在推理任务中超过了其他类似规模的开放模型,表现出强大的工具使用能力,并针对在消费级硬件上高效运行进行了优化。训练过程涉及强化学习技术,并结合了来自OpenAI最先进内部模型的见解,包括o3和其他尖端系统。

gpt-oss-120b 模型在基础推理基准测试中表现几乎与 OpenAI 的 o4-mini 模型相当,并且在单个 80 GB GPU 上高效运行。同时,gpt-oss-20b 模型在常见基准测试中取得了与 OpenAI 的 o3-mini 相当的结果,并且能够在仅有 16 GB 内存的边缘设备上运行,使其适合于设备上的应用、局部推理或快速测试,而无需昂贵的基础设施。两个模型在工具使用、少量示例函数调用、链式思维 (CoT) 推理方面表现出强大的能力,如在 Tau-Bench 代理评估和 HealthBench 中所示,有时甚至优于 OpenAI o1 和 GPT-4o 等专有模型。

这些模型与响应 API 兼容,旨在集成在代理工作流程中,提供高级指令遵循、工具使用,包括网络搜索和 Python 代码执行,以及推理能力。这包括可调的推理工作量,以优化那些不需要复杂推理或优先考虑最终输出低延迟的任务。两个模型都是完全可定制的,支持完整的思维链推理,并适应结构化输出格式。

安全考虑是这些模型发布的核心,特别是考虑到它们的开放性。在全面的安全培训和评估之外,还通过在 OpenAI 的准备框架下对 gpt-oss-120b 进行对抗性微调的版本,增加了一层测试。gpt-oss 模型在安全基准性能上达到与 OpenAI 最新的专有模型相当的水平,为开发者提供了类似的安全保障。详细结果和更多信息可在研究论文和模型卡中找到,方法论经过外部专家审核,代表了在建立开放权重模型的新安全标准方面的进展。

OpenAI与AI Sweden、Orange和Snowflake等早期合作伙伴合作,探索这些开放模型的实际应用,包括用于数据安全的本地托管和在专业数据集上的微调。这些开放模型的可用性旨在使从个人开发者到大型企业和政府实体的广泛用户能够在他们自己的基础设施上运行和定制AI。当与通过OpenAI的API访问的其他模型结合时,开发者可以从多种选择中进行选择,以平衡性能、成本和延迟,以支持多样化的AI工作流程。

Gpt-oss-120b 和 Gpt-oss-20b 现在可免费使用,支持广泛的平台和硬件

gpt-oss-120b 和 gpt-oss-20b 的权重可以在 Hugging Face 上公开下载,并且以 MXFP4 格式提供原生量化。这使得 gpt-oss-120b 模型可以在 80GB 的内存容量内运行,而 gpt-oss-20b 模型仅需要 16GB。两个模型都经过了使用和谐提示格式的后训练,并且提供了一个开源的和谐渲染器,支持 Python 和 Rust,以促进采用。此外,还提供了参考实现,用于使用 PyTorch 和苹果的 Metal 平台进行推断,以及一套用于实际应用的示例工具。

这些模型经过精心设计,旨在灵活性和易用性,支持本地、设备上或通过第三方推理提供商的部署。为了增强可访问性,在推出之前与主要部署平台建立了合作关系,包括 Azure、Hugging Face、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare 和 OpenRouter。还与硬件制造商如 NVIDIA、AMD、Cerebras 和 Groq 进行了合作,以确保在各种系统上实现最佳性能。

与此版本一起,微软为Windows设备提供了优化GPU的gpt-oss-20b模型。通过ONNX Runtime驱动,这些版本支持本地推理,并可通过Foundry Local和VS Code的AI工具包访问,简化了Windows平台上开发人员的集成过程。

对于寻求完全可定制模型的开发者,这些模型能够在他们自己的环境中进行微调和部署,gpt-oss模型提供了合适的解决方案。相反,对于那些需要多模态能力、内置工具和无缝平台集成的用户,通过API平台提供的模型仍然是首选。开发者的反馈持续受到监测,未来可能考虑对gpt-oss模型的API支持。

gpt-oss-120b 和 gpt-oss-20b 的引入在开放权重模型领域代表了显著的进展,在其规模上提供了推理能力和安全性的显著提升。这些开放模型通过为开发者提供更广泛的工具选择,补充了专有托管模型,以促进尖端研究、激发创新,并推动更安全、更透明的 AI 开发,适用于各种应用。

此外,这些开放模型有助于降低新兴市场、资源有限的行业和小型组织在采用专有解决方案时可能面临的进入壁垒。通过提供可访问且强大的工具,全球用户得以开发、创新并创造新的机会。这些在美国生产的高性能开放权重模型的广泛可用性有助于扩大公平的人工智能访问。

可靠的开放模型生态系统是促进广泛和包容的人工智能可及性的重要组成部分。开发者和研究人员被鼓励利用这些模型进行实验、合作以及推动可实现的边界。对此领域的持续进展充满期待。

GPT-3.7%
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)