北京2025年2月12日 /美通社/2月11日,浪潮信息正式推出元脑R1推理服务器,通过系统创新和软硬协同优化,单机即可部署运行DeepSeek R1 671B模型,帮助客户显著降低DeepSeek R1全参数模型的部署难度及成本,并提升推理服务性能,加速千行百业探索智能涌现。
当前,DeepSeek开源多版本模型,助力各行业加速应用大模型技术推动业务升级转型。其中,DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求:在FP8精度下至少需要约800GB显存承载,FP16/BF16精度下需要1.4TB以上的显存空间;此外,DeepSeek R1是典型的长思维链模型,具有短输入、长输出的应用特点,推理解码阶段依赖更高的显存带宽和极低的通信延迟。面向671B模型的算力特征和系统需求,元脑R1推理服务器提供领先的显存容量、显存带宽和通信速度,能够助力企业高效完成DeepSeek全参数模型的本地化部署。
元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。在显存方面,提供1128GB HBM3e高速显存,满足671B模型FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间。显存带宽高达4.8TB/s,完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征,在推理解码阶段可实现显著加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行更佳通讯性能,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器集群Turnkey解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型(Large Reasoning Model)创新设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。
浪潮信息是全球领先的IT基础设施产品、方案和服务提供商,通过发展新一代以系统为核心的计算架构,打造开放、多元、绿色的元脑智算产品和方案。浪潮信息致力于AI计算平台、资源平台和算法平台的研发创新,并通过元脑生态携手领先伙伴,加速人工智能的创新和应用落地。
-
福州爱尔眼科医院:女子眼镜多配了100度,一周后看东西变成2个险些出车祸不少成年人认为眼镜戴上能看清楚就可以了,在需要配眼镜时,通常选择就近的眼镜店从网上购买,而且一副眼镜戴上就是好几年! 其实,这是一个很大的误区。福州爱尔眼科医院2025-02-13
-
世贸通欧洲移民:希腊房价大涨,2025移民投资者有哪些机会?近年来,希腊住宅房地产市场表现出强劲的增长态势,成为欧洲最具投资价值的市场之一。数据显示,2023年,希腊全国范围共发生174,475套房地产交易,合同交易总额达180亿欧元2025-02-13
-
海尔全屋家居斩获 “2024 中国家居冠军榜创新风尚奖”,领航行业创新发展2025年2月10日,由网易评选的“2024年度中国家居冠军榜”正式揭晓,涵盖行业卓越贡献、行业领军品牌、创新风尚品牌等多个维度的十大奖项重磅发布。 众多家居品牌激2025-02-13
-
镭神智能无人机探测激光雷达产品矩阵:构筑低空安防的“智慧天眼”镭神智能深耕超长距1550nm激光雷达领域,均采用自研自产1550nm光纤激光器,以自主创新核心技术赋能数字化转型,打造覆盖全域的低空安全数字底座与防御体系,为2025-02-13
-
荣联知识库管理与智能应答平台接入DeepSeek,推动企业AI应用落地DeepSeek的横空问世,为AI全产业链的市场繁荣带来了新契机。作为一款创新的基础大模型,DeepSeek由于具有更低的成本、更高的性能、更灵活的部署方式,受到从2025-02-13