软件的弊端:
1.功能方向与定位模糊。最初注意到生花笔,是因为知识库,生花笔最核心的就是知识库、工作流两个了。但是随着时间推移,发觉知识库的使用实际用在小模型上是不太现实的,一般用生花笔就是文学创作,能够纠错与刺激灵感,并且能够仿照知名作家的风格练习写作。但是试用很多主流在线网站,受限于架构,模型,目前没有可堪一用的功能,即便是用来分析、总结也有很多错乱数据。所以生花笔知识库到现在已经难能可贵了,也足够基础使用需求。所以最后生花笔的方向是,如何把小模型的文学创作功能发挥的更好。简单来说,如在工作流中实现,创作长篇需要的角色卡、剧情大纲等,规避小模型短上下文制约,长上下文错乱的问题,当然博主是一个人,期望能够有实现的时候。
2.通用性差,生花笔下载的模型都是不适用其他软件的GGUF文件,所以最好的选择是把生花笔当做备用选择,调用其他软件模型如LM的API进行使用,加上网速、网站模型量等情况,最后还是只能当做备用软件。
综上所述:生花笔的升级方向与定位,首先就是集中在工作流功能,成为使用者的用的舒服,目标明确的备用软件。
1 个赞
admin
2
感谢,
目前工作流部分确实比较尴尬,原因是我不想把具体的业务场景都集成过来,因为用户的需求是多种多样的,没法全部实现;
但是如果不集成的话,让用户自己从0开始搭建某个流程,好像也比较麻烦,甚至有时候某个逻辑不是几个节点就能搞清的;
年前我已经想到了解决方法,理论上实现后可以解决任意问题,不过实现还需要时间,估计最多两个月吧
- gguf其实是llama.cpp一系列用的,正常的模型如
.safetensors,.bin,等这样的一般都是python环境跑的,虽然说软件现在集成了python环境,但是安装过程太繁琐了,没办法保证每个人每次都执行成功(一个是gpu问题,amd在windows下只能用dml,速度太慢,另一个是python依赖问题,需要下载很长时间,然后安装,变数太多)
- 还有一点就是ollama的东西比较全,虽然部分所有模型100%都有但是至少主流的都有,并且国内下载速度还可以;国内现在这么多用大模型的,但是镜像站也才一个,如果说直接使用那种原生的模型,下载也是一道门槛
ollama上各种量化的模型都比较好找,比如qwen,在tags页面打开就能看到各种量化的版本,qwen2.5:7b-instruct-fp16,qwen2.5:7b-instruct-q8_0,qwen2.5:7b-instruct-q4_K_M,qwen2.5:7b-instruct-q2_K,