考虑这样的场景:在本地目录积累了很多私人文档,突然想起来某个问题,又不知道具体在哪个文件(甚至可能是需要结合多个文件)和答案。这时候就可以利用这个本地文档问答引擎来提问。也就是说,这个本地问答引擎,可以基于本地的一大堆文件,提出问题并且得到回答。
市面上有类似的产品吗?比如 anythingLLM,它是将一个特定的文档拖到它的 UI界面再进行提问,也就是说,此时要求用户清楚知道答案在哪个文档里面再进行提问;再比如开源的qmd,它更像是一个“语义搜索版本的 grep”,提供的是搜索功能,而不是回答。
除此以外,这个产品是完全离线的,第一次使用时会把需要用到的 embedding、reranker、推理模型下载下来,绝不上传用户的文档到云端,保证安全和隐私。默认采用的几类模型是:embedding(Xenova/bge-small-zh-v1.5)、reranker(BAAI/bge-reranker-base)、LLM(Qwen/Qwen2.5-3B-Instruct-GGUF)。
Ext Link: https://github.com/lichuang/docq
1
共 0 条评论, 1 页
评论区
写评论还没有评论