reranker相关配置使用

说明

  • 在知识库查询时,先查询x倍的数据返回,通过模型排序,返回前面的数据,提高搜索精度

安装

即使不安装使用时也会自动安装

使用

  • 自动开启
  • 默认倍率5倍

假如需要20条结果,先查100条,进行排序,排序后使用前20条

调整倍率

  • 倍率越高,速度越慢,感觉最高到10倍就差不多了,剩下的要是搜索不到,就真搜索不到了
  "shenghuabi.reranker": {
         "ratio": 5
    }

影响功能

  • 知识库部分.通用的搜索,及图谱的搜索

支持引擎

  • 内置transformers,
  • ollama目前并没有支持reranker,不过llama.cpp支持,但是因为时间关系没有适配