知识库多集合

介绍

  • 默认情况下,文本嵌入是使用设置中的定义,如
    "shenghuabi.text2vec": {
        "startupType": "transformers",
        "baseURL": "http://127.0.0.1:11434/v1",
        "apiKey": " ",
        "dir": "d:/新建文件夹/text2vec",
        "modelName": "Xenova/bge-base-zh-v1.5",
        "dtype": "fp16",
        "device":  "dml" ,
        "maxBatchSize": 256
    },
  • 但是可能存在知识库导入后想变更嵌入模型,嵌入文本内容,长度等情况,这时候肯定不能从0开始再重新导入一遍,那么就需要多集合实现

设置

  • 默认情况下,必须存在一个已经定义好的集合

创建时自动生成

  • 修改模型配置,嵌入模板,分隔长度后,会使用相同的数据创建新的集合,并且自动切换为新添加的集合

整个集合会重新进行词嵌入

  • 由于以上配置影响每一条数据,所以配置不可更改,只能新增
  • 在创建多个集合的情况下,每次进行新增,删除/修改时都是在多个集合上同步操作,所以建议将不需要的集合删掉,保证速度