正文内容 评论(0

只需这4步 华为ModelEngine支持DeepSeek全系列本地部署
2025-02-06 17:25:07  出处:快科技 作者:随心 编辑:随心     评论(0)点击可以复制本篇文章的标题和链接对文章内容进行纠错

快科技2月6日消息,华为ModelEngine是大模型训练、推理和应用开发的AI平台,提供从数据预处理到模型训练、优化及部署的一站式服务。

华为官方表示,ModelEngine现已全面支持DeepSeek系列模型R1&V3 671B以及蒸馏系列模型,开发者可通过ModelEngine实现“一键部署”。

此举省去硬件选型、兼容性验证和环境配置等繁琐步骤,大幅降低企业AI应用门槛。

此外华为还表示,ModelEngine通过其高度的开放性和模块化设计,极大地缩短了DeepSeek的本地部署时间。

下面以DeepSeek-R1为例,基于ModelEngine 3步快速完成部署模型

1、登录ModelEngine模型管理页面,上传DeepSeek-R1 FP8权重,然后进行模型权重格式转换,将FP8精度模型权重转换为BF16精度模型权重;

只需这4步 华为ModelEngine支持DeepSeek全系列本地部署

2、在模型服务页面,选择BF16精度的模型权重版本,下发推理服务,启动任务部署;

只需这4步 华为ModelEngine支持DeepSeek全系列本地部署

3、ModelEngine使用MindIE推理框架启动DeepSeek-R1推理服务后,支持OpenAI API 调用风格的推理服务接口和访问方式;

4、ModelEngine 启动 DeepSeek-R1 推理服务后,平台支持 OpenAI API 调用风格的推理服务接口和访问方式,用户可以将该 API 集成到对话、RAG 以及 Agent 应用。

只需这4步 华为ModelEngine支持DeepSeek全系列本地部署

到这里,基于ModelEngine私有化本地部署的DeepSeek-R1完整版推理服务API已经就绪了。

用户可以将推理服务API集成到对话应用、RAG或者Agent应用中,在保证数据安全的前提下,让DeepSeek-R1媲美世界头部顶流闭源大模型服务智能的能力。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:随心

文章内容举报

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...