历史版本2 :【信创】Qwen大模型部署 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
本文将介绍在信创环境下，FineChatBI 如何链接大模型
2. 环境准备编辑
硬件要求：
| 配置项 | 配置要求 |
|---|---|
| NPU | 支持 910b3、910b4 *8、310p *4 |
| 服务器 | Atlas 800 和 Atlas 300I Duo |
| 显存 | 单卡显存需达到 64GB |
软件要求：
| 配置项 | 配置要求 |
|---|---|
| 操作系统 | 宿主机要求为 openEuler 22.03 LTS（aarch64） |
| mindie 容器内部为 Ubuntu 22.04.4 LTS | |
| Python | 宿主机要求 Python v3.8 及以上，推荐 3.9 |
| mindie 容器内部为 Python v3.11.10 | |
NPU 驱动 | 版本为 24.1.rc3 |
| Docker | 版本为 26.1.3，且容器引擎必须为 1.11.2 版本及以上 |
模型文件要求：
在部署 Qwen 模型时，模型文件需满足以下特定要求，以确保模型能在华为昇腾硬件平台上正常运行：
Qwen 微调后的权重文件必须为全精度，支持的数据类型为 fp16 或 fp32，并且文件类型仅支持 safetensor 格式。在模型导出过程中，请勿使用量化操作，量化会降低模型精度，影响推理结果的准确性。
如果使用 llama-factory 工具对模型进行微调，需要按照官方文档的要求配置 yaml 文件。
如果使用 Atlas 300I Duo 服务器进行模型部署，模型的 torch dtype 只能设置为 float16，不支持 bfloat16。
3. 部署步骤编辑
3.1 下载 mindle 镜像
下载镜像
进入 mindie 镜像仓库 ，填写表单申请下载权限，审批通过后根据官方网站提供的配套版本选择合适的 mindie 镜像下载。
3.2 模型下载
1）创建目录 /home/qwen2_5_sft_0929
mkdir -p /home/qwen2_5_sft_0929
2）使用 wget 命令将模型文件下载到指定目录
wget -P /home/qwen2_5_sft_0929 <模型下载地址>
3）解压模型文件
tar -xvzf /home/qwen2_5_sft_0929/qwen_sft_0929.tar.gz -C /home/qwen2_5_sft_0929
//qwen_sft_0929.tar.gz为压缩包名，用户需根据实际更改
4）