llama-factory SFT 教程系列（3），chatglm3-6B 命名实体识别 - Lora 微调

bash train.sh

train.sh 脚本内容如下：

CUDA_VISIBLE_DEVICES=0 python ../../src/train_bash.py \
--stage sft \
--do_train \
--model_name_or_path ZhipuAI/chatglm3-6b \
--dataset_dir ../../data \
--dataset llm_ner2_train \
--template chatglm3 \
--finetuning_type lora \
--lora_target query_key_value \
--output_dir ./output/output_train \
--overwrite_cache \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_strategy epoch \
--learning_rate 5e-5 \
--num_train_epochs 2.0 \
--plot_loss \
--fp16

• dataset_dir： llama-factory data/dataset_info.json 的文件夹路径；
  因为自定义数据集的配置信息，写在 dataset_info.json 文件中；
• dataset : 在 data/dataset_info.json 中，配置的自定义数据集的名字；

在output文件夹中可找到训练过程中损失值图：

train.json 有18000条数据，跑了大概2个小时以上；
24G 显存的显卡恰好可以跑；