檔案總覽
📌 把微软针对cpu优化的ai大模型跑起来了,纯cpu跑 27.09 tokens/s共 5 樓
主帖低价vps大全
🕐 2025-4-24 20:28:58
• 速度是真快,英语效果一般,中文效果堪忧!:lol



• llama_perf_sampler_print: sampling time = 108.23 ms / 1040 runs ( 0.10 ms per token, 9608.72 tokens per second)

• llama_perf_context_print: load time = 582.45 ms

• llama_perf_context_print: prompt eval time = 327.41 ms / 10 tokens ( 32.74 ms per token, 30.54 tokens per second)

• llama_perf_context_print: eval time = 37991.07 ms / 1029 runs ( 36.92 ms per token, 27.09 tokens per second)

• llama_perf_context_print: total time = 38726.16 ms / 1039 tokens

#? 樓afkool
🕐 2025-4-24 20:35:32
英语效果一般,中文效果堪忧!

这个评价6
#? 樓朝花夕拾
🕐 2025-4-24 20:42:57
afkool 发表于 2025-4-24 20:35

英语效果一般,中文效果堪忧!

这个评价6
#? 樓fpga
🕐 2025-4-24 22:33:39
谢谢分享! 请问能不能把 bitnet 应用在英文的语音识别上 ?
#? 樓Cuchemist
🕐 2025-4-24 23:09:47
好评