全球主机交流论坛

标题: 把微软针对cpu优化的ai大模型跑起来了，纯cpu跑 27.09 tokens/s [打印本页]
作者: 低价vps大全    时间: 2025-4-24 20:28
标题: 把微软针对cpu优化的ai大模型跑起来了，纯cpu跑 27.09 tokens/s
  1. 速度是真快，英语效果一般，中文效果堪忧！:lol

  3. llama_perf_sampler_print:    sampling time =     108.23 ms /  1040 runs   (    0.10 ms per token,  9608.72 tokens per second)
  4. llama_perf_context_print:        load time =     582.45 ms
  5. llama_perf_context_print: prompt eval time =     327.41 ms /    10 tokens (   32.74 ms per token,    30.54 tokens per second)
  6. llama_perf_context_print:        eval time =   37991.07 ms /  1029 runs   (   36.92 ms per token,    27.09 tokens per second)
  7. llama_perf_context_print:       total time =   38726.16 ms /  1039 tokens
复制代码





叫bitnet

作者: afkool    时间: 2025-4-24 20:35
英语效果一般，中文效果堪忧！
这个评价6
作者: 朝花夕拾    时间: 2025-4-24 20:42
afkool 发表于 2025-4-24 20:35
英语效果一般，中文效果堪忧！
这个评价6

这也垃圾，那也垃圾。哈哈
作者: fpga    时间: 2025-4-24 22:33
谢谢分享！ 请问能不能把 bitnet 应用在英文的语音识别上 ?
作者: Cuchemist    时间: 2025-4-24 23:09
好评



欢迎光临 全球主机交流论坛 (https://sunk.eu.org/) Powered by Discuz! X3.4