发表于 2024年6月21日1年前 希望用于给用户回答问题，检索出信息，类似回答下答案，给他下来源哪儿篇指导手册之类的，要私有化，不依赖外部 api 。 目前已知的基于 Embedding+RAG+LLM 的类似工作流的系统有 Dify Langchain fastgpt 之类的，但是这些下游 LLM 服务消耗的资源太大了，看起来简单的 LLM 模型都得一个 16G 显卡，这个成本有点高 现在有这些问题 有什么好用的 LLM 模型可以开源商用的，成本低的，或者显卡要求低些的模型吗 有没有开源的项目设备要求低点，比如只要 CPU 就行的，类似那种基于简单词向量，计算编辑距离那种的，融合了很多策略那种，成套的开源服务吗，类似百度古老的 AnyQ 一样的 我的检索关键词有问题吗，有什么好的检索关键词推荐吗 可以找到的相关帖子 https://cn.v2ex.com/t/999563
希望用于给用户回答问题，检索出信息，类似回答下答案，给他下来源哪儿篇指导手册之类的，要私有化，不依赖外部 api 。
目前已知的基于 Embedding+RAG+LLM 的类似工作流的系统有 Dify Langchain fastgpt 之类的，但是这些下游 LLM 服务消耗的资源太大了，看起来简单的 LLM 模型都得一个 16G 显卡，这个成本有点高
现在有这些问题
可以找到的相关帖子 https://cn.v2ex.com/t/999563