क्या मैं यह AI मॉडल चला सकता हूँ?
अपना हार्डवेयर चुनें। सब कुछ आपके ब्राउज़र में चलता है और कुछ भी कहीं नहीं भेजा जाता। नतीजे अनुमान हैं.
आपका हार्डवेयर
नतीजे
GPU = VRAM में फ़िट (तेज़)। ऑफ़लोड = सिस्टम RAM भी चाहिए (चलेगा, पर काफ़ी धीमा; OS के लिए 4 GB अलग रखे गए हैं)। नहीं = बहुत बड़ा। संख्या अनुमानित कुल GB है।
कुछ लिंक एफ़िलिएट लिंक हो सकते हैं; जहाँ ऐसा होगा, हम वहीं बता देंगे। हम पैसे कैसे कमाते हैं.
जब नए मॉडल मेरे GPU में फ़िट हों, तो मुझे बताएँ
एक छोटा ईमेल, जिसमें उस दिन हमारे द्वारा जाँची गई AI और गेमिंग की सबसे अहम खबरें और एक काम का टूल होगा। साइनअप जल्द खुलेंगे। तब तक हमें फ़ॉलो करें: RSS फ़ीड.
अनुमान कैसे लगाया जाता है
- वेट्स = पैरामीटर × प्रति वेट बिट ÷ 8। उदाहरण के लिए, 16-बिट पर 7B मॉडल लगभग 14 GB का होता है। प्रति वेट बिट llama.cpp के अनुमानित मान हैं: Q4_K_M ≈ 4.89, Q5_K_M ≈ 5.70, Q8_0 ≈ 8.5, FP16 = 16 (llama.cpp क्वांटाइज़ेशन डॉक्स).
- रनटाइम ओवरहेड: वेट्स का 10% और 0.5 GB। यह हमारा मोटा नियम है, मापा हुआ आँकड़ा नहीं।
- KV कैश (कॉन्टेक्स्ट मेमोरी): हर 4K टोकन पर प्रति अरब पैरामीटर लगभग 0.0125 GB। यह मोटा औसत है। असली खपत लेयर की संख्या, अटेंशन के प्रकार (GQA) और KV-कैश क्वांटाइज़ेशन पर निर्भर करती है, और इससे काफ़ी ज़्यादा या कम हो सकती है।
पैरामीटर की संख्या वह कुल संख्या है जो Hugging Face हर आधिकारिक मॉडल रिपो (टेबल में लिंक) के लिए दिखाता है, 30 अक्टूबर 2026 को ली गई। मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) मॉडल में मेमोरी कुल पैरामीटर पर निर्भर करती है, सक्रिय पैरामीटर पर नहीं। कुछ मॉडल पहले से क्वांटाइज़ होकर आते हैं (जैसे MXFP4 में gpt-oss), इसलिए उनकी असली फ़ाइलें FP16 कॉलम से छोटी हो सकती हैं। सटीक आँकड़े के लिए मॉडल पेज पर GGUF फ़ाइल का साइज़ देखें और कॉन्टेक्स्ट के लिए जगह जोड़ें।
मॉडल सूची 30 अक्टूबर 2026 को अपडेट की गई। इसमें 2026 की रिलीज़ (Gemma 4, Qwen3.8, Nemotron 3.5) शामिल हैं। बहुत बड़े मॉडल (DeepSeek V4, Kimi K3, Muse Spark Open) शामिल नहीं किए गए, क्योंकि उन्हें मल्टी-GPU सर्वर चाहिए।