英伟达:DeepSeek R1现正式上线英伟达NIM平台

- 编辑:188金宝搏官网登录 -

英伟达:DeepSeek R1现正式上线英伟达NIM平台

【举世网科技综合报道】1月31日新闻,依据英伟达官网信息表现,推理开放模子DeepSeek R1现已在NVIDIA NIM(NVIDIA Inference Microservice)平台上供给预览版。DeepSeek R1是一个具有当先推理才能的开放模子,专为须要庞杂逻辑推理、数学盘算、编码及言语懂得义务计划。该模子采取了一系列高等方式,如思绪链、共鸣跟搜寻等,以确保可能天生最优质的谜底。差别于直接呼应查问的传统模子,DeepSeek R1经由过程屡次推理来优化成果,这种测试时光扩大的方式对实事实时推理跟更高品质的呼应至关主要。 据英伟达官方布告,6710亿参数的DeepSeek R1模子现可经由过程build.nvidia.com上的NIM微效劳停止拜访,这为开辟职员供给了保险实验这些功效的机遇,并支撑他们构建本人的公用代办。别的,DeepSeek R1 NIM微效劳可能在单个NVIDIA HGX H200体系上每秒处置多达3,872个令牌,极年夜晋升了效力跟呼应速率。为了简化安排流程,DeepSeek R1 NIM微效劳兼容行业尺度API,并作为NVIDIA AI Enterprise软件平台的一局部供给给用户。企业能够经由过程在其抉择的减速盘算基本设备上运转NIM微效劳,最年夜化保证数据隐衷跟保险性。同时,应用NVIDIA AI Foundry跟NVIDIA NeMo软件,企业还能定制化开辟专门的AI代办效劳。(勃潺)