MedQA、MedMCQA、PubMedQA 和 MMLU 数据集介绍

MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介

1. MedQA数据集

• 简介

  • MedQA 数据集是一个面向医学领域的问答数据集，模拟了美国医疗执照考试（USMLE）的风格。它包含了英文、简体中文和繁体中文的问题，旨在评估模型对医学知识的理解和推理能力。

• 数据集主页

  • Papers with Code - MedQA Dataset

• 问题类型

  • 单选题

• 数据集的完整格式

{
  "question": "问题文本",
  "options": ["选项A", "选项B", "选项C", "选项D"],
  "answer": "A"
}

• 模型的回答

{
  "id": "问题的标识符",
  "prediction": "A"
}

2. MedMCQA数据集

• 简介

  • MedMCQA 是一个大规模的多选题问答（MCQA）数据集，专为解决实际医学入学考试问题而设计。它包含了超过194,000个高质量的 AIIMS 和 NEET PG 入学考试多选题，涵盖2,400个医疗保健主题和21个医学科目。

• 数据集主页

  • MedMCQA Homepage

• 问题类型

  • 多选题

• 数据集的完整格式

{
  "question": "问题文本",
  "opa": "选项A",
  "opb": "选项B",
  "opc": "选项C",
  "opd": "选项D",
  "cop": "a",
  "choice_type": "multi",
  "exp": "答案解释",
  "subject_name": "科目名称",
  "topic_name": "主题名称"
}

• 模型的回答

{
  "id": "问题的标识符",
  "prediction": ["a", "c"]
}

3. 数据集

• 简介

  • PubMedQA 数据集是从PubMed摘要中收集的新颖的生物医学问答（QA）数据集。它要求模型能够理解并推理生物医学研究文本，尤其是其中的定量内容，以回答研究问题。

• 数据集主页

  • PubMedQA Homepage

• 问题类型

  • 解释类

• 数据集的完整格式

{
  "question": "问题文本",
  "context": "相关上下文文本",
  "long_answer": "长答案文本",
  "answer": "yes/no/maybe"
}

• 模型的回答

{
  "id": "问题的标识符",
  "prediction": "maybe"
}

4. MMLU数据集

• 简介
  • MMLU（大规模多任务语言理解）数据集是一个多语言、多任务的评测数据集，旨在评估和提升人工智能模型在不同语言、认知和文化背景下的性能。
• 数据集主页
  • MMLU Dataset | Papers With Code
• 问题类型
  • 单选题
• 数据集的完整格式

{
  "question": "问题文本",
  "options": ["选项1", "选项2", "选项3", "选项4"],
  "answer": "1"
}

• 模型的回答

{
  "id": "问题的标识符",
  "prediction": "1"
}