大型模型基本概念和分类介绍摘要 - II.

大模型（Large Model 也称基础模型，即 Foundation Model）：
是指具有大量参数和复杂结构的机器学习模型，能够处理海量数据、完成各种复杂的任务，如自然语言处理、计算机视觉、语音识别等。

超大模型：
超大模型是大模型的一个子集，它们的参数量远超过大模型。

大语言模型（Large Language Model）：
通常是具有大规模参数和计算能力的自然语言处理模型，例如 OpenAI 的 GPT-3 模型。
这些模型可以通过大量的数据和参数进行训练，以生成和人类类似的描述性文本或回答自然语言问题。大型语言模型在自然语言处理、文本生成和智能对话等领域有广泛应用。

GPT（Generative Pre-trained Transformer）：
GPT 和 ChatGPT 都是基于 Transformer 架构的语言模型，但它们在设计和应用上存在区别：

GPT 模型旨在生成自然语言文本并处理各种自然语言处理任务，如文本生成、翻译、摘要等。它通常在单向生成的情况下使用，即根据给定的文本生成连贯的输出。

ChatGPT：
ChatGPT 则专注于对话和交互式对话。它经过特定的训练，以更好地处理多轮对话和上下文理解。ChatGPT 设计用于提供流畅、连贯和有趣的对话体验，以响应用户的输入并生成合适的回复。

大模型根据输入内容分类

更具输入大致可以分为以下三类

语言大模型（NLP）：
指在自然语言处理（Natural Language Processing，NLP）领域中的一类大模型，通常用于处理文本数据和理解自然语言。
这类大模型的主要特点是它们在大规模语料库上进行了训练，以学习自然语言的各种语法、语义和语境规则。

例如：GPT 系列（OpenAI）、Bard（Google）、文心一言（百度）。

视觉大模型（CV）：
指在计算机视觉（Computer Vision，CV）领域中使用的大模型，通常用于图像处理和分析。
这类模型通过在大规模图像数据上进行训练，可以实现各种视觉任务，如图像分类、目标检测、图像分割、姿态估计、人脸识别等。

例如：VIT 系列（Google）、文心UFO、华为盘古 CV、INTERN（商汤）。

多模态大模型：
指能够处理多种不同类型数据的大模型，例如文本、图像、音频等多模态数据。
这类模型结合了 NLP 和 CV 的能力，以实现对多模态信息的综合理解和分析，从而能够更全面地理解和处理复杂的数据。

例如：DingoDB 多模向量数据库（九章云极 DataCanvas）、DALL-E(OpenAI)、悟空画画（华为）、midjourney。

按应用领域划分

按照应用领域，大模型主要可以分为 L0、L1、L2 三个层级：

通用大模型 L0：
是指可以在多个领域和任务上通用的大模型。
它们利用大算力、使用海量的开放数据与具有巨量参数的深度学习算法，在大规模无标注数据上进行训练，以寻找特征并发现规律，进而形成可“举一反三”的强大泛化能力，可在不进行微调或少量微调的情况下完成多场景任务，相当于 AI 完成了“通识教育”。

行业大模型 L1：
是指那些针对特定行业或领域的大模型。
它们通常使用行业相关的数据进行预训练或微调，以提高在该领域的性能和准确度，相当于 AI 成为“行业专家”。

垂直大模型 L2：
是指那些针对特定任务或场景的大模型。
它们通常使用任务相关的数据进行预训练或微调，以提高在该任务上的性能和效果。