1.98.24;qwen3

版本更新
1

ollama

  • 默认版本改为0.6.6
  • 不想升级此版本的也可以手动指定
"shenghuabi.ollama.install": {
        "version": "v0.6.6"
    },
  • 默认模型改为qwen3:8b

需要0.6.6版本支持

升级

  • 无论安装此次更新,还是修改配置,都需要升级

因为改的只是版本号,改完了会检测为新版本升级

升级
升级2530×353 55 KB

预告

  • 流水线建设中
  • linux版本即将发布
2

厉害，给力，可以了。
试了qwen3:4b和8b
逐行翻译比qwen2.5:7b慢得多，
逐行纠错比qwen2.5:7b慢一点。

3

看了一下qwen3的介绍，说是比2.5版本更快。不知道新版本1.98.32，是不是有改善1.98.24中qwen3慢的问题。

4

试了1.98.32的cpu版本，qwen3.4b和8b依然慢，不知道cuda版本如何，明天回家试一试。

5

您说的是LInux版本? linux的 cuda 和cpu指的是transformers,也就是目前只影响ocr和文本嵌入
ollama还是正常的
另外您可以把

    "shenghuabi.ollama.env": {
        "OLLAMA_CONTEXT_LENGTH":2000
    },

上下文长度改小一些,默认是设置了10000,也就是会多占用很多内存/显存

最后就是请使用qwen3:30b,它的速度和精度会比qwen3:8b更好
是不是有点反直觉?精度高可以理解,为啥速度快?因为这个是Moe模型,加载30b参数其实每次只调用3b,所以哪怕用cpu跑性能也不错,而8b是每次调用8b…

6

谢谢谢谢(^:pray:^)我的是win版本，下的cpu版本。ai笔记本不支持cuda版本吧？它没有n卡。

生花笔可以用针对intel的ai笔记本优化版的ollama么？如果可以，如何设置？https://modelscope.cn/models/Intel/ollama

7

下载了30b，速度还是慢，而且生成结果还是错的。晕:face_with_spiral_eyes:

8

安装了intel优化版ollama，运行qwen3.8b，非常流畅，连笔记本风扇都不狂转的安静。不知道可不可以用到生花笔中来？若可以怎么弄？