1月31日,英伟达官网宣布推理开放模型DeepSeek R1已在NVIDIA NIM平台上提供预览版。DeepSeek R1是一个具备领先推理能力的开放模型,专为需要复杂逻辑推理、数学计算、编码及语言理解任务设计。该模型采用了一系列高级方法,如思路链、共识和搜索等,以确保生成高质量的答案。与传统直接响应查询的模型不同,DeepSeek R1通过多次推理来优化结果,这种方法对于实现实时推理和更高质量的响应至关重要。
6710亿参数的DeepSeek R1模型现可通过build.nvidia.com上的NIM微服务进行访问,这为开发人员提供了安全试验这些功能的机会,并支持他们构建自己的专用代理。DeepSeek R1 NIM微服务能够在单个NVIDIA HGX H200系统上每秒处理多达3,872个令牌,极大提升了效率和响应速度。
为了简化部署流程,DeepSeek R1 NIM微服务兼容行业标准API,并作为NVIDIA AI Enterprise软件平台的一部分提供给用户。企业可以在其选择的加速计算基础设施上运行NIM微服务,最大化保障数据隐私和安全性。利用NVIDIA AI Foundry和NVIDIA NeMo软件,企业还能定制化开发专门的AI代理服务。