废弃python-addon提供的文本纠错

  1. 安装太麻烦,需要针对不同设备配置不同环境文件
  2. 依赖安装可能失败,受限于网络环境
  3. 可移植性太差,目前仅实现了windows版的安装

因为准备移植到linux上所以必须取舍

  1. 提供的纠错方式虽然多,但是多不代表准确,可能有效的就是那么几个…

替代-大语言模型纠错

  • 当然,不是使用普通的大语言模型,也是python-addon中的shibing624/chinese-text-correction

根据测评结果来看shibing624/chinese-text-correction就是目前最强的纠错模型

  • 我将这个模型转换为gguf格式,可以使用ollama直接调用使用

包含f16,q8,q4,q3,q2

  • 因为转换了多种格式,所以也方便大家在不同内存/显存下使用

推荐模型使用

  • 以下模型为基于 shibing624/chinese-text-correction-1.5b · Hugging Face shibing624/chinese-text-correction-7b · Hugging Face 转换的gguf格式,提供了更多量化选择

  • hf-mirror.com/wszgrcy/chinese-text-correction-1.5b:Q8_0

  • hf-mirror.com/wszgrcy/chinese-text-correction-1.5b:F16

  • hf-mirror.com/wszgrcy/chinese-text-correction-7b:Q4_K_M

  • hf-mirror.com/wszgrcy/chinese-text-correction-7b:Q8_0

  • hf-mirror.com/wszgrcy/chinese-text-correction-7b:F16

  • 其他更低的q3,q2量化也存在,但是经测试会胡言乱语,所以以上量化模型是比较正常的一些选择,反正就是,尺寸越大精度越高