电子网首页 > 开源与设计

命令行搭建千问(Win10+千问)

2025-12-27 13:38 | 来源:电子世界报

1. 克隆千问仓库,安装依赖;2. 下载模型权重;3. 命令行执行启动脚本,配置参数后运行推理。# 千问模型命令行部署详细步骤 **环境前提**:已安装 `Python 3.8+`、`Git`、足够磁盘空间(模型文件通常数GB) 1.  **克隆官方仓库**    打开命令行,执行克隆命令:    ```bash    git clone https://github.com/QwenLM/Qwen.git    cd Qwen    ``` 2.  **安装依赖包**    执行 pip 安装命令,安装所需依赖:    ```bash    pip install -r requirements.txt    # 如需 GPU 加速,额外安装对应版本的 torch 和 CUDA 工具包    ``` 3.  **下载模型权重**    - 方式1:从 [Hugging Face](https://huggingface.co/Qwen) 下载对应尺寸的模型(如 `Qwen-7B-Chat`)    - 方式2:使用模型下载脚本(若仓库提供),命令行执行下载指令 4.  **命令行启动推理**    将下载的模型权重放入指定目录(如 `./model`),执行启动命令:    ```bash    python cli_demo.py --model_path ./model    ```    等待加载完成后,即可在命令行输入问题进行交互。 5.  **可选:调整运行参数**    根据硬件配置修改参数(如显存不足时启用量化):    ```bash    python cli_demo.py --model_path ./model --load_in_4bit    ```image.png

推荐技术

返回顶部