本地部署14b模型强如怪物移动端5060拼尽全力无法战胜

想着跑个模型玩玩，结果14b直接占满了，卡死我了，果然还是只能打打游戏

正常啊显存爆了，玩这个得买AI Max系列大显存才好使

不感兴趣

开通SVIP免广告

14b建议上12g显存吧，倒是可以外接张显卡试试

消费类显卡还是谨慎玩大模型吧，尤其是8G显存的，最多也就玩个玩具级别的小模型。稍大参数的LLM还是上专业显卡+大内存：以Deepseek-r1为例，14B需要至少9G的显存，您8G的消费显卡也就最多玩玩8B规模的；Gemma3:12B需要8.1G以上（不含8G）的显卡，8G显卡也就玩玩4b规模的；
图：Deepseek-r1：70B

14b老老实实用5080勉强可以跑……别问我怎么知道的

5060跑ai高低是有点想屁吃了，16gb显存起步

可以本地部署qwen3-30B-a3b-q4这种MOE模型，生成答案的质量还是输出速度上效果会比14B这样的dense模型好很多

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

7回复贴，共1页

<<返回笔记本吧

分享到:

日	一	二	三	四	五	六