sillytavern吧 关注:50,777贴子:190,769

本地大模型

只看楼主收藏回复

各位大佬有用过本地模型的吗 昨天晚上想着搞一搞差点手机炸了,上下文吐字还不够角色卡设定直接奔溃了


IP属地:湖北来自Android客户端1楼2026-05-28 08:41回复
    谁教你用本地大模型的。。还是手机端,害人不浅啊


    IP属地:山东来自iPhone客户端2楼2026-05-28 08:44
    收起回复
      2026-06-04 05:28:42
      广告
      不感兴趣
      开通SVIP免广告
      角色扮演用本地部署模型?用个英伟达免费的step3.5flash都比这强太多,你这几b的模型还想咋样啊。我9070xt,本地部署过14b的几个模型,对角色扮演来说完全没用。


      IP属地:湖南3楼2026-05-28 08:59
      收起回复
        游戏本能上天吗?显存有超过24G了吗


        IP属地:河南来自Android客户端4楼2026-05-28 09:05
        收起回复
          手机部署本地模型???AI界迎来噩耗


          IP属地:山东来自Android客户端5楼2026-05-28 10:24
          回复
            本地模型跑rp/写作只有Google在2026年4月最新推出的gemma4-26b-a4b和gemma4-31b这两个勉强能用,实际跑分和测试以及世界知识准确性在这参数量也是最强的,其他就不用看了。。。


            IP属地:福建来自Android客户端7楼2026-05-28 10:36
            回复
              用5060跑过gemma4的量化模型,只能说勉强能聊但是搞瑟瑟不太行,并且token输出太慢了。


              IP属地:江西来自Android客户端8楼2026-05-28 10:49
              收起回复
                能部署好模型的设备价格拿去玩API至少够玩10年


                IP属地:浙江来自iPhone客户端9楼2026-05-28 10:51
                回复
                  2026-06-04 05:22:42
                  广告
                  不感兴趣
                  开通SVIP免广告
                  当然可以,有配置就行,起码对标台式机3090/4080这个配置,越高越好。适合拿来玩轻量卡/手枪卡,目前的本地模型能力就到这了。


                  IP属地:广东来自Android客户端10楼2026-05-28 10:54
                  回复
                    楼上都好好劝你了,不知道在嘴硬啥。你本地部署花的钱够你正常玩到死了。有电脑就用电脑玩酒馆吧,用手机还是不太方便。


                    IP属地:美国来自Android客户端11楼2026-05-28 11:59
                    收起回复
                      得有多nc才会想到手机部署本地模型,哈哈哈,你有几百t内存么?


                      IP属地:广东来自iPhone客户端12楼2026-05-28 12:11
                      回复
                        在电脑上用llama server运行的话,可以在手机上使用,前提是要在同一个局域网内。
                        如果想要在其他网络下使用的话,要么你得有公网ip,要么就搞搞内网穿透,手机目前的性能还不足以跑大模型。


                        IP属地:福建来自Android客户端13楼2026-05-28 12:26
                        回复
                          本地部署模型相当于想靠买房来省租房的钱
                          你买不起房还想自己没建材手搓房子然后和租的一个生活质量吗


                          IP属地:湖南来自Android客户端14楼2026-05-28 13:07
                          回复
                            你是疯牛病610的1tb显存吗本地部署,知道能本地部署的卡一张多少钱吗


                            IP属地:福建来自Android客户端15楼2026-05-28 13:44
                            回复
                              2026-06-04 05:16:42
                              广告
                              不感兴趣
                              开通SVIP免广告
                              手机端部署你真TM是个狠人


                              IP属地:山东来自Android客户端16楼2026-05-28 15:07
                              回复