加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
run_mlu_example_text_completion.sh 488 Bytes
一键复制 编辑 原始数据 按行查看 历史
xiaoqi25478 提交于 2023-08-02 11:16 . support mlu370 x8
set -ex
export MLU_VISIBLE_DEVICES=5
mlus=$(echo $MLU_VISIBLE_DEVICES | awk -F "," '{print NF}')
PORT=${PORT:-29501}
MASTER_ADDR=${MASTER_ADDR:-"127.0.0.1"}
python -m torch.distributed.launch \
--master_addr=$MASTER_ADDR \
--nproc_per_node=$mlus \
--master_port=$PORT \
example_text_completion.py \
--ckpt_dir /data/AE/tangchuang/llama2/Llama-2-7b/ \
--tokenizer_path /data/AE/tangchuang/llama2/Llama-2-7b/tokenizer.model \
--max_seq_len 512 \
--max_batch_size 4
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化