全球主机交流论坛

标题: deepseek模型能在vps上跑吗 [打印本页]

作者: Clost 时间: 2025-2-2 05:44
标题: deepseek模型能在vps上跑吗
就是deepseekchat模型能用cpu跑吗如果vps不行杜甫需要至少什么配置才行？有没有试过的大佬

作者: Clost 时间: 2025-2-2 07:15
ding

作者: mylove1 时间: 2025-2-2 07:20
有4090 gpu的vps勉强一试

作者: Fightlee 时间: 2025-2-2 07:56
蒸馏过的
原版671b
你4090最多就32b

作者: ttyhtg 时间: 2025-2-2 08:43
看配置，可以试试1.5B的，我的普通笔记本配置问了ChatGPT说最多能跑7B的，我试了试，勉强能跑14B的呢

作者: 友谊地久天长 时间: 2025-2-2 08:47
云服务器差不多吧. 谷歌甲骨文亚马逊的. GPU估计价格贵死.
自己部署没任何意义. 部署完的跟他们官网的问答结果也不一样. 自己部署的一般都比较笨.

作者: Keensword 时间: 2025-2-2 09:48
普通的肯定不行

作者: oimo 时间: 2025-2-2 10:21
LLM很久以前就能跑在树莓派上了，但是都是很小的模型或者经过量化的模型，跟L没什么关系了

作者: louiejordan 时间: 2025-2-2 10:25
能，但是没有必要

作者: grave_lyt 时间: 2025-2-2 11:09
家里电脑配置还过得去的，可以跑个14B-32B，然后提供接口，通过FRP映射到VPS上，这样就可以在外面用了，不过没什么必要，完整版的API以后就是白菜价，正常人又不会高频使用的，自建意义不大

作者: 何处不惹尘埃 时间: 2025-2-2 12:46
不太清楚, 但就算能跑的话, 也没必要啊. VPS 那点算力, 对于跑大模型来说, 聊胜于无? 你倒是可以充点钱在 Colab 里先在 Colab 里试试, Colab 里的机器是带 GPU 的, 而且型号不错.

----------------------------------------------------------------

小尾巴~~~~~

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)