3款自己电脑就可以运行AI LLM的项目-LocalGPT

一个允许用户在本地设备上使用GPT模型与文档进行聊天的项目。它是受original privateGPT启发的项目，使用Vicuna-7B模型和InstructorEmbeddings代替了LlamaEmbeddings。LocalGPT可以在GPU上运行，但也支持CPU，尽管在CPU上运行可能会比较慢。LocalGPT利用LangChain工具来解析文档并创建嵌入，然后将其存储在本地向量数据库中，使用Chroma向量存储。它使用本地LLM来理解问题并创建答案，从文档中提取答案的上下文。

文档地址：https://github.com/PromtEngineer/localGPT