추정 방법

가중치 = 파라미터 수 × 가중치당 비트 수 ÷ 8. 예를 들어 7B 모델을 16비트로 돌리면 약 14GB입니다. 가중치당 비트 수는 llama.cpp의 대략적인 값입니다: Q4_K_M ≈ 4.89, Q5_K_M ≈ 5.70, Q8_0 ≈ 8.5, FP16 = 16 (llama.cpp 양자화 문서).
런타임 오버헤드: 가중치의 10% + 0.5GB. 측정값이 아니라 저희의 경험칙입니다.
KV 캐시 (컨텍스트 메모리): 4K 토큰당 파라미터 10억 개마다 약 0.0125GB. 대략적인 평균값입니다. 실제 사용량은 레이어 수, 어텐션 방식(GQA), KV 캐시 양자화에 따라 달라지며, 이 값보다 훨씬 높거나 낮을 수 있습니다.

파라미터 수는 Hugging Face가 각 공식 모델 저장소(표에 링크)에 표시하는 총 파라미터 수이며, 2026년 10월 30일에 가져왔습니다. 전문가 혼합(MoE) 모델의 경우 메모리는 활성 파라미터가 아니라 총 파라미터에 따라 결정됩니다. 일부 모델은 미리 양자화된 상태로 배포되므로(예: MXFP4의 gpt-oss) 실제 파일이 FP16 열보다 작을 수 있습니다. 정확한 수치는 모델 페이지에서 GGUF 파일 크기를 확인하고 컨텍스트용 여유 공간을 더하세요.

모델 목록은 2026년 10월 30일에 업데이트했습니다. 2026년 출시 모델(Gemma 4, Qwen3.8, Nemotron 3.5)을 포함합니다. 초대형 모델(DeepSeek V4, Kimi K3, Muse Spark Open)은 멀티 GPU 서버가 필요하므로 제외했습니다.

이 AI 모델, 내 PC에서 돌아갈까?

내 하드웨어

결과

추정 방법

이 AI 모델, 내 PC에서 돌아갈까?

내 하드웨어

결과

내 GPU에 맞는 새 모델이 나오면 알림 받기

추정 방법