生花笔 与 ai 笔记本

生花笔 与 ai 笔记本 真是绝配

测试笔记本电脑
CPU:ultra 9 285H
内存:32G 7467MT/s

能流畅运行 qwen2.5:7b 和 deepseek-r1:7b (之前的笔记本 (i7 16G) 运行超级慢)。
但无法运行 14b 模型,报错是“超内存容量”,不明白 9G 的模型为啥要 46G 内存?N 卡 16G 显存却可以运行。“生花笔”是否可以通过设置优化,支持 14b?

ultra 9 285H :(CPU、GPU 和 NPU 结合在一起)
1、99 TOPS 算力。 NPU 加速器,可用于运行 AI 助理、生成式 AI 等,NPU 神经处理单元是专为处理 AI 和机器学习任务而打造的处理器。(TOPS 是 每秒数万亿次操作,即 NPU 性能衡量指标,与 CPU 性能衡量指标 GHz 类似)。
2、GPU搭载 8 个 Xe 核心,可支持 XMX AI 引擎。

根据部署需要的最小尺寸来看 14b最大也就占用30g左右的内存,但是ollama一般跑的都是4bit量化,也就是需要9g,不太可能需要46g,请问是否有相关日志
优化相关我实现不了,目前也只能看看是哪方面的问题(比如进程中是否有多个ollama存在导致异常占用?,)

不过ollama确实对于硬件优化不是太好,比如vulkan一直不支持(各种显卡都能通用的一种方式),如果有空加一个llama.cpp,只不过这个的缺点是有很多东西需要自己搞,所以一直拖着没实现.

14b 运行不了,被我删掉了。

这个其实是笔记本本身的配置问题,我之前也试过14B的模型,提示运行内存不够。因为笔记本有各种软件在运行,系统也要占内存的