1. 克隆千问仓库,安装依赖;2. 下载模型权重;3. 命令行执行启动脚本,配置参数后运行推理。# 千问模型命令行部署详细步骤
**环境前提**:已安装 `Python 3.8+`、`Git`、足够磁盘空间(模型文件通常数GB)
1. **克隆官方仓库**
打开命令行,执行克隆命令:
```bash
git clone https://github.com/QwenLM/Qwen.git
cd Qwen
```
2. **安装依赖包**
执行 pip 安装命令,安装所需依赖:
```bash
pip install -r requirements.txt
# 如需 GPU 加速,额外安装对应版本的 torch 和 CUDA 工具包
```
3. **下载模型权重**
- 方式1:从 [Hugging Face](https://huggingface.co/Qwen) 下载对应尺寸的模型(如 `Qwen-7B-Chat`)
- 方式2:使用模型下载脚本(若仓库提供),命令行执行下载指令
4. **命令行启动推理**
将下载的模型权重放入指定目录(如 `./model`),执行启动命令:
```bash
python cli_demo.py --model_path ./model
```
等待加载完成后,即可在命令行输入问题进行交互。
5. **可选:调整运行参数**
根据硬件配置修改参数(如显存不足时启用量化):
```bash
python cli_demo.py --model_path ./model --load_in_4bit
```