把微软针对cpu优化的ai大模型跑起来了，纯cpu跑 27.09 tokens/s

低价vps大全

1. 速度是真快，英语效果一般，中文效果堪忧！:lol
   
2. 
   
3. llama_perf_sampler_print:    sampling time =     108.23 ms /  1040 runs   (    0.10 ms per token,  9608.72 tokens per second)
   
4. llama_perf_context_print:        load time =     582.45 ms
   
5. llama_perf_context_print: prompt eval time =     327.41 ms /    10 tokens (   32.74 ms per token,    30.54 tokens per second)
   
6. llama_perf_context_print:        eval time =   37991.07 ms /  1029 runs   (   36.92 ms per token,    27.09 tokens per second)
   
7. llama_perf_context_print:       total time =   38726.16 ms /  1039 tokens
   

复制代码

叫bitnet

Cuchemist

好评

fpga

谢谢分享！ 请问能不能把 bitnet 应用在英文的语音识别上 ?

朝花夕拾

afkool 发表于 2025-4-24 20:35
英语效果一般，中文效果堪忧！
这个评价6

这也垃圾，那也垃圾。哈哈

afkool

英语效果一般，中文效果堪忧！
这个评价6