全球主机交流论坛

标题: 买一个4080啥的显卡搭建LLAMA有意义吗 [打印本页]

作者: netAlchemist 时间: 2024-11-3 15:02
标题: 买一个4080啥的显卡搭建LLAMA有意义吗
有没有大佬测试过自己搭建LLAMA 效果怎么样可以做哪些事情

作者: julie 时间: 2024-11-3 15:18
只能搭个8B的模型, 可是8B的模型不好用.

起码用30B左右参数的模型才能勉强使用. 那就需要大概3个4090或是3090的显卡了.

更别说用70B参数的了.

除非你跑量化的模型.

作者: 你号没了 时间: 2024-11-3 15:24
毫无意义。你这样提问题了。就是已经有答案了

作者: 我是老王 时间: 2024-11-3 15:35
没有意义不如GPT4-MINI 这玩意随便个中转冲10块钱可以用1年了
弄显卡还要搭建电费电脑开机一点不划算

作者: netAlchemist 时间: 2024-11-3 15:48

julie 发表于 2024-11-3 15:18
只能搭个8B的模型, 可是8B的模型不好用.

起码用30B左右参数的模型才能勉强使用. 那就需要大概3个4090或是 ...

我想着练练手折腾一下别out了

如果毫无意义那还是考虑一下

作者: ctg3c 时间: 2024-11-3 15:59
llama 8b性能太差了，没什么应用价值

作者: julie 时间: 2024-11-5 22:59

netAlchemist 发表于 2024-11-3 15:48
我想着练练手折腾一下别out了

如果毫无意义那还是考虑一下

玩玩还是好的. 搭个8B以内的模型, 做点简单的任务还是可以的.

作者: leiguste 时间: 2024-11-5 23:17
4080还能这样玩？我光用来画画了

作者: dragonfsky 时间: 2024-11-5 23:18
买还不如去买云服务的几块钱一个小时玩玩也凑合

作者: 三月七 时间: 2024-11-5 23:43
你就计算买现存最大的4080也只能流畅8B-14B，这些参数量的模型都比较低智商。和你买个最便宜8G显存的N卡没有本质区别。

当然你也可以买一个Mac，特指m系芯片的。统一内存可以干到100+G，其实是目前很有性价比的高显存方案。现在苹果无论是metal还是npu跑大模型都很舒服，速度不如夹克男的显卡，但是最起码它能跑70B模型。

作者: xchiminer 时间: 2024-11-5 23:43
huggingface玩玩就行了，熟悉来说，不用自己部署。
其实自己部署都是伪需求。需要un**ed内容也有专门的platform吧，付钱解决吧，别自己搞了

作者: qidian8 时间: 2024-11-6 00:10
自己搭LLAMA效果不错，适合深度学习和大模型训练，4080显卡性能强劲。

作者: 风车车 时间: 2024-11-6 00:57
要大内存，上3090 24g

作者: netAlchemist 时间: 2024-11-6 08:48

三月七发表于 2024-11-5 23:43
你就计算买现存最大的4080也只能流畅8B-14B，这些参数量的模型都比较低智商。和你买个最便宜8G显存的N卡没 ...

请问这个100+G的统一内存怎么搞啊我看MAC笔记本内存最高都只有32G

作者: Laa 时间: 2024-11-6 09:50
16G显存就玩玩而已

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)