发表于 2024年9月26日1年前 试过国内的一些大模型产品，文心、通义等，对原理不熟悉，按照我粗浅的理解，这些 AGI 的输出就是根据之前的输出 token 预测下一个输出 token ，最终形成完整的输出。 另外，也看到一些文章（ https://zhuanlan.zhihu.com/p/633671394 ），基于大模型+专业知识库构建简单的专业模型，一般做法是把专业知识库转成向量，扔到向量数据库。用户使用的时候，先把用户输入转成向量，并在知识库向量种搜索相似向量，再把用户原始输入和匹配的知识库扔给大模型，使得输出的内容和知识库紧密相关。 这里的核心是在向量数据库里面搜索和输入相近的知识库，按照传统做法，如果想做全文检索，常规方式是 lucene ES 等方式，在我搜到的向量检索方面，很少再提到中文分词了。 这是啥情况？向量数据库支持中文模糊检索吗？
试过国内的一些大模型产品，文心、通义等，对原理不熟悉，按照我粗浅的理解，这些 AGI 的输出就是根据之前的输出 token 预测下一个输出 token ，最终形成完整的输出。
另外，也看到一些文章（ https://zhuanlan.zhihu.com/p/633671394 ），基于大模型+专业知识库构建简单的专业模型，一般做法是把专业知识库转成向量，扔到向量数据库。用户使用的时候，先把用户输入转成向量，并在知识库向量种搜索相似向量，再把用户原始输入和匹配的知识库扔给大模型，使得输出的内容和知识库紧密相关。
这里的核心是在向量数据库里面搜索和输入相近的知识库，按照传统做法，如果想做全文检索，常规方式是 lucene ES 等方式，在我搜到的向量检索方面，很少再提到中文分词了。
这是啥情况？向量数据库支持中文模糊检索吗？