基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)

基于LLaMA-Factory，用4个V100的GPU，如下命令训练ChatGLM3：

deepspeed --num_gpus 4 --master_port=9901 src/train_bash.py 
    --deepspeed ds_config.json 
    --stage sft 
    --model_name_or_path models/chatglm3-6b 
    --do_train 
    --dataset aaa,bbb
    --template chatglm3 
    --finetuning_type lora 
    --lora_target query_key_value 
    --output_dir output/aaabbbccc/ 
    --overwrite_cache 
    --per_device_train_batch_size 4 
    --gradient_accumulation_steps 4 
    --lr_scheduler_type cosine 
    --logging_steps 10 
    --save_steps 200 
    --learning_rate 5e-5 
    --num_train_epochs 200 
    --plot_loss 
    --overwrite_output_dir True 
    --fp16

其中，ds_config.json用的是LLaMA-Factory的github中给出的默认配置。但一直报错：Caught signal 7 (Bus error: nonexistent physical address)。

最终在这里看到别人的讨论（https://github.com/huggingface/transformers-bloom-inference/issues/16），得到启发，用df -h查看，确实是/dev/shm内存太小。因为笔者是用docker image来运行的，所以无法直接通过remount来修改其内存大小。

最终发现，通过下面这个命令来启动docker image，就能增大/dev/shm的内存，然后就能成功运行上面这个deepspeed的多GPU训练命令。

docker run -it --shm-size 6G image_name /bin/bash

文章来源于互联网:基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)

相关推荐: 【活动】AIGC 技术的发展现状与未来趋势

AIGC 技术的发展现状与未来趋势 引言 随着人工智能技术的飞速发展，AIGC（Artificial Intelligence Generated Content）即人工智能生成内容技术，已经成为了科技领域的热点话题。AIGC涉及文本、图像、音频…