Ը Ʈ 淮ȭ ۾ AI Ͼ ϴ PC غ
GGUF, AWQ, GPTQ ȭ ȰϿ Llama-3.1 ̻ ÿ ߷մϴ.
ΰ н Ϳ ҽڵ带 ܺ ÿ óϿ ȯ մϴ.
ū ݺ ̼ Ʈ ߰ ȯ մϴ.
Llama-3 ȭϿ Ϸ VRAM ȮǾ ߷ մϴ.
GPU Ѱ ̾ ε 뿪 DDR5 ġϿ ϶ ּȭմϴ.
LLM ߷ ϴ ߿ Ͽ Ʋ ū ӵ(TPS) մϴ.
Llama-3 7B FP16 ȭ
Llama-3 14B Quantized
Llama-3 35B ̻