英伟达开源 Nemotron-Mini-4B-Instruct AI 模型，适用于设备端部署

9 月 15 日消息，科技媒体 marktechpost 昨日（9 月 14 日）发布博文，报道称英伟达开源了 Nemotron-Mini-4B-Instruct AI 模型，标志着该公司在 AI 领域创新又一新篇章。

Nemotron-Mini-4B-Instruct AI 模型专为角色扮演、检索增强生成（RAG）及函数调用等任务设计，是一个小语言模型（SLM），通过蒸馏（distilled）和优化更大的 Nemotron-4 15B 获得。

英伟达使用剪枝（pruning）、量化（quantization）和蒸馏（distillation）等先进 AI 技术，让该模型更小巧高效，尤其适用于设备端部署。

这种缩小化并未影响模型在角色扮演和功能调用等特定场景下的性能，让其成为需要快速按需响应的应用的实用选择。

该模型在 Minitron-4B-Base 模型上微调，采用了 LLM 压缩技术，最显著的特点之一是其能够处理 4096 个上下文窗口词元（token），能够生成更长且更连贯的回复。