-
@ topickapp (IT技術系ニュースサイト)
2025-02-25 04:52:34https://zenn.dev/7shi/articles/c5f1ae59a67462 VRAM 不足の状況で Llama 3.3 70B を動かす VRAM不足の環境でLlama 3.3 70Bを動かし、CPU動作と比較した結果をまとめています。 Q4_K_MとQ2_Kの量子化方式で速度やRAM、VRAMの使用量を比較しています。 MoEモデルとの比較や、M2 Ultraでの動作速度についても触れられています。