Tutorial8: Qwen2-72B-Instruct 单机多卡¶

本节展示如何在 SCOW 平台上使用单机多卡运行 Qwen2-72B-Instruct 模型的推理任务。

分以下几步来实现：

  1. 环境安装与应用创建
  2. 下载模型
  3. 模型推理

Qwen 系列模型是由阿里巴巴开发的。Qwen 模型系列包括不同规模的模型，参数范围从 0.5 到 720 亿，适用于各种应用场景，如文本生成、翻译、问答等。Qwen2-72B-Instruct 支持高达 131,072 个 token 的上下文长度，能够处理大量输入。

1. 环境安装与应用创建¶

首先在联网的命令行中创建conda环境:

conda create -n tutorial8 python=3.9
conda activate tutorial8
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install --upgrade notebook jupyterlab transformers huggingface_hub accelerate

（ pytorch 版本需与 cuda 版本对应，请查看版本对应网站：https://pytorch.org/get-started/previous-versions ，通过 nvidia-smi 命令可查看 cuda 版本）

然后创建JupyterLab应用, Conda环境名请填写tutorial8, 建议的硬件资源为2张A100。创建应用后, 进入应用并打开本文件。

CUDA Version: 12.1; Torch Version: 2.3.1

2. 下载模型¶

在联网的命令行中执行，命令执行位置在当前文件所在的文件夹。

# 如果以下目录存在， 可以直接复制:
cp -r /lustre/public/tutorial/models/models--Qwen--Qwen2-72B-Instruct/ ./

# 否则请下载:
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download Qwen/Qwen2-72B-Instruct --local-dir models--Qwen--Qwen2-72B-Instruct

（建议使用 tmux 工具进行数据下载。tmux（Terminal Multiplexer）是一个终端复用器，它允许用户在一个单一终端会话中运行多个终端会话，并且它的会话可以在不同的时间和地点断开和重新连接，非常适合远程工作和需要长时间运行的任务。关于 tmux 的安装和介绍参考：https://tmuxcheatsheet.com/how-to-install-tmux ； 使用参考： https://tmuxcheatsheet.com）

3. 模型推理¶

创建JupyterLab交互应用，进行模型推理：

In [ ]:
from transformers import AutoModelForCausalLM, AutoTokenizer

# 使用 GPU
device = "cuda"

# 模型路径
# VAR_PLACEHOLDER
model_path = "models--Qwen--Qwen2-72B-Instruct"

# 加载模型和分词器
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

# prompt
prompt = "什么是大模型"
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]

# 生成回答
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(
        model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(
    generated_ids, skip_special_tokens=True)[0]

print(response)

推理过程中使用 nvidia-smi 命令可以查看 GPU 运行情况。

作者: 黎颖; 龙汀汀

联系方式: yingliclaire@pku.edu.cn; l.tingting@pku.edu.cn