有没有大神会用gpu跑llama3 8b的

lilyhcn1

有张3060，但不会用。求大神指点

lilyhcn1

Eureka 发表于 2024-5-8 15:37
在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多 ...

找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。

lilyhcn1

isxuew 发表于 2024-5-8 21:57
只要看启动的时候的日志，就可以知道是cpu还是gpu了

CPU does not have AVX or AVX2, disabling GPU support
发现了，是CPU太烂的原因。我换个稍好点的CPU

lilyhcn1

Eureka 发表于 2024-5-8 21:51
据我的经验来看，运算的时候，GPU使用率不会太明显，只是显存会被占满，然后溢出，继续占用主板上的内存 ...

查看日志发现了，是CPU太渣了，无法启用GPU。
感谢

isxuew

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

只要看启动的时候的日志，就可以知道是cpu还是gpu了

Eureka

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

据我的经验来看，运算的时候，GPU使用率不会太明显，只是显存会被占满，然后溢出，继续占用主板上的内存容量。

lilyhcn1

Eureka 发表于 2024-5-8 19:29
https://ollama.com/
windows上官网下载安装，然后打开cmd运行

！！！我也是这样啊，但GPU就没有用上。
那我重装试试

Eureka

lilyhcn1 发表于 2024-5-8 19:07
找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。 ...

https://ollama.com/
windows上官网下载安装，然后打开cmd运行

1. ollama run llama3

复制代码

会自动下载几个G的模型，下载完然后就可以用了

GPU我是N卡，什么都没配置，直接就用上GPU了。

isxuew

ollama，windows下也可以用显卡，直接run就完事了

Eureka

在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多加几张，跑个llama3 70B，ollama支持多卡的，总显存有50G这样子就可以非常流畅的运行了。