之前写了名为 GitHub 宝藏:免费 LLM 资源列表 的文章,分享了一个专门搜集免费 LLM 的 GitHub 项目。这篇文章介绍其中提到的 NVIDIA NIM 服务。

1. 什么是 NVIDIA NIM

NVIDIA NIM 是一套易于使用的预构建容器工具,可在任何 NVIDIA 加速基础设施 (云、数据中心、工作站和边缘设备) 上快速部署最新 LLM。它提供免费额度的托管 API,通过访问 build.nvidia.com,用户可以访问大量企业级 LLM,例如 Kimi-k2.6,DeepSeek-V4-Pro,GLM-5.1 等等,这些模型都针对 NVIDIA GPU 运行了优化。

目前 NIM 提供的免费 API 端点采用速率限制模型,限制为 40 请求每分钟。

NVIDIA NIM 提供的一个独特功能是良好的可移植性:用户可利用免费额度的托管 API 构建原型,在完成概念验证后,用户可以下载相同的 NIM 容器,直接在本地 NVIDIA 硬件(RTX PC 或工作站)或私有云上运行 LLM。

Pasted image 20260506222817

除了上面提到的可移植性,NVIDIA NIM 还有下面这些优点:

  1. OpenAI 兼容 API - 所有支持的模型都遵循标准 OpenAI API 格式,现有应用程序只需要简单地将 base_url 更改为 NVIDIA NIM 端点并提供 API 密钥既可完成 LLM 切换;
  2. 提供丰富的 LLM - 提供纯文本、图像和视频 LLM,还提供专为编程优化的 LLM 以及专门用于药物发现和蛋白质结构预测的 LLM;

2. 如何使用

https://build.nvidia.com/ 上进行注册,注册过程中确认电子邮件,并验证手机号码(见下图),然后就可以使用了。

Pasted image 20260506224350

完成验证后,就可以从提供的列表中选择所需的模型: Pasted image 20260506224418

请求限制为每分钟最多 40 个

可用的模型跟用户所在的地区有关。目前,2026 年 5 月,国内可以免费使用的模型有 47 个: Pasted image 20260506224745

NVIDIA NIM 为模型提供了参考代码,点击 “View Code” 即可查看: Pasted image 20260506225000

因为 NIM 提供 OpenAI 兼容的 API,用户可以使用流行的库,例如 Python openai 或者标准 curl 命令,这种兼容性可以确保用户通过最少的代码变动来切换 LLM Provider。

下面的 Python 脚本可以列出 NVIDIA NIM 提供的模型:

import os

from openai import OpenAI
from dotenv import load_dotenv

load_dotenv()

# 1. 使用 OpenAI 库
client = OpenAI(
    base_url="https://integrate.api.nvidia.com/v1",
    api_key=os.environ["NVIDIA_API_KEY"],
)


def list_nvidia_models():
    models = client.models.list()

    print(f"{'Model ID':<50} | {'Owned By'}")
    print("-" * 70)

    for model in models.data:
        # 托管目录中的大多数模型都是"免费"开发者层的一部分
        print(f"{model.id:<50} | {model.owned_by}")


list_nvidia_models()

Pasted image 20260506231640

但要知道列出的模型中有哪些包含免费端点,还需要在 NVIDIA NIM Models 页面上检查。

注意:虽然 API 可以免费用于开发,但 NVIDIA 区分“开发”和“生产”:免费服务适合构建原型的学生、研究人员和爱好者,一旦投入生产,应当转向 NVIDIA AI Enterprise,企业服务可以为商业应用提供安全、专门支持和更好的稳定性。

3. 参考资料

NVIDIA NIM for Developers

NVIDIA NIM