比较在灾难推文分析场景中使用 LoRA 对 Roberta、Llama 2 和 Mistral 进行微调的过程和性能--超参数调整

最编程 2024-03-15 11:02:11

...

我们用 Wandb Sweep API 通过贝叶斯搜索策略来进行超参调优 (30 次运行)，待调优的超参搜索空间如下:

方法	指标	lora_alpha	lora_bias	lora_dropout	lora_rank	lr	max_length
bayes	目标: maximize	分布: categorical	分布: categorical	分布: uniform	分布: categorical	分布: uniform	分布: categorical
	目标名: eval/f1-score	取值集合: -16 -32 -64	取值集合: None	-最大值: 0.1 -最小值: 0	取值集合: -4 -8 -16 -32	-最大值: 2e-04 -最小值: 1e-05	取值集合: 512

欲了解更多信息，可以查看资源一节中的 Wandb 实验报告。