集显、docker本地部署deepseek大模型

云生

https://v.douyin.com/if45L5qx/

deepseek r1  1.5B
最小的模型，可以用集显运行
docker 部署

q1028178000

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

想知道你说的小内存是 768GB 内存以下吗？  我手里有几台128gb 的服务器。

grave_lyt

8g显卡可以跑跑14b参数，亲测效果还行，开启联网搜索的情况下可以帮上点忙
和完整版的智力当然无法相比

ai海里打渔

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

有多省？你部署671b了？

bobbylong

q1028178000 发表于 2025-1-30 15:02
那吃 内存？

可吃可不吃，小内存也可以跑大参数，就是慢

q1028178000

bobbylong 发表于 2025-1-29 06:24
你OUT了，谁告诉你非要独立显卡跑的？一年前deep seek家的模型就不吃显卡了。 ...

那吃 内存？

bobbylong

louiejordan 发表于 2025-1-29 01:05
集显就算了，6系A卡能不能跑？

你OUT了，谁告诉你非要独立显卡跑的？一年前deep seek家的模型就不吃显卡了。

louiejordan

集显就算了，6系A卡能不能跑？

Hetzner

大模型，即大型语言模型(LLM)，是指基于Transformer 模型架构，具有大规模参数和复杂计算结构的超大型机器学习模型（超过10 亿个参数），通常由深度神经网络构建，对海量数据进行预训练处理。 大模型的底层转换器包含一系列神经网络，分为编码器和解码器，且具有自注意力功能。

@william2ct 虚心接受改正，你是对的

你好，再见

7b我都嫌废，这还1.5b