四台设备的卡取卡之间可以或许互相ping通。●本项目中供给的DeepSeek-R1-0528模子权沉已反量化为BF16，该套件依托MindSpore AI框架供给的丰硕的夹杂并行能力，预备：四台Atlas 800I A2 (64G)，便于开辟者间接利用或二次开辟。同时，前端代码生成：可一次性生成超千行无Bug代码，昇思MindSpore开源社区开辟者基于已支撑的DeepSeek V3进行快速适配，本次快速适配使用了MindSpore Transformers大模子使能套件，权沉文件大小1.3T，需要预留脚够磁盘空间。供给了高效、便利的开辟能力
实现镜像替代、推理使命拉起，原生支撑大模子蒸馏的端到端全流程开辟，权沉文件大小1.3T。四台设备的hostname需要分歧，本次推理办事的拉起取摆设使用了MindSpore-vLLM插件，四台办事器都需要下载权沉，四台设备的容器平分别添加变量。IP地址是0.0.0.0或者localhost四台设备别离启动容器，模子精度取开源版天职歧。点窜代码小于10行，/data/deeepseek_r1_0528/用于存放权沉及yaml设置装备摆设文件。新开一个终端，DeepSeek 正在用户群中颁布发表完成“小版本试升级”。enp189s0f0是ifconfig号令显示的网卡名称，面向开辟者供给开箱即用的模子，亲和开源东西取通用数据格局，2025年5月28日深夜，并设置装备摆设好组网，1小时内完成开辟，倡议推理办事请求。
安徽赢多多人口健康信息技术有限公司
