एआई का मूल्य टोकन गिनती से ओपन वेट्स की ओर: ओआरएफ विश्लेषण
ओआरएफ विश्लेषण के अनुसार कंपनियां 'टोकनमैक्सिंग' से पीछे हट रही हैं, जिसमें खपत किए गए टोकन को उत्पादकता का प्रमाण माना जाता था। एंटेलिजेंस रिसर्च ने 2,444 संगठनों के दस लाख से अधिक पुल रिक्वेस्ट के अध्ययन में पाया कि एआई कोडिंग टूल पर खर्च हर डॉलर में से 18 सेंट ही उत्पाद बनता है, 82 सेंट सुधार और समीक्षा में जाता है। सस्ती कीमत और डेटा नियंत्रण से ओपन वेट मॉडल अपनाए जा रहे हैं। इंडियाएआई मिशन ने 38,000 से अधिक जीपीयू जुटाए हैं।
स्रोत
Observer Research Foundation (ORF) · मूल ख़बर पढ़ें ↗
डेस्क जाँच · कुछ दावे ध्यान से पढ़ें
डेस्क ने क्या जाँचा (5)
- The New York Times reported in March that an OpenAI engineer processed 210 billion tokens in a single week. — Attributed to The New York Times in the source; figure appears in source text but no link given.
- Google's monthly token processing rose from 9.7 trillion in May 2024 to 3.2 quadrillion by May 2026. — Figures appear in source; no primary source cited for the 2026 number.
- Entelligence Research's May 2026 analysis found 18 cents of every AI coding dollar becomes shipped product, 82 cents goes to rework. — Attributed to a named research analysis of over one million pull requests across 2,444 organisations.
- CERT-In's substitute open-weight models deliver 60-70 percent of the restricted model's vulnerability-finding capability. — Presented as an estimate in the source; no methodology or issuing body named.
- IndiaAI Mission's common compute facility has empanelled more than 38,000 GPUs. — Stated in source without attribution to an official document.
विश्लेषकों की राय राय
यह कहानी असल में इस बारे में है कि एआई अर्थव्यवस्था में मूल्य मापने की इकाई बदल रही है, और यही इकाई तय करती है कि मुनाफा कहाँ जमा होगा। खपत किए गए टोकन को उत्पादकता का सबूत मानने वाला 'टोकनमैक्सिंग' दौर ढल रहा है, क्योंकि गणित नहीं बैठ रहा — एंटेलिजेंस रिसर्च के अनुसार एआई कोडिंग टूल्स पर खर्च हर डॉलर में से केवल 18 सेंट उत्पाद बनता है और 82 सेंट सुधार-समीक्षा में चला जाता है। यही दबाव ओपन वेट मॉडलों की मांग बढ़ा रहा है, जो कीमत, लचीलेपन और अपने ही सर्वर पर डेटा रखने के नियंत्रण पर प्रतिस्पर्धा करते हैं। ओआरएफ का लेख इसे केवल खरीद का फैसला नहीं, बल्कि राज्य की क्षमता का सवाल मानता है।
- टोकन की गिनती कंप्यूटेशनल खर्च बताती है, काम की गुणवत्ता नहीं — मेटा द्वारा अपना आंतरिक लीडरबोर्ड हटाना और उबर का पूरे साल 2026 का टोकन बजट चार महीनों में खर्च कर देना इस पैमाने की कमजोरी दिखाते हैं।
- असली उलटफेर कीमत तंत्र में है: क्लोज्ड मॉडल के टोकन की कीमत उसका डेवलपर तय करता है, जबकि ओपन वेट मॉडल कोई भी होस्ट कर सकता है, जिससे दाम कंप्यूट लागत की ओर गिरते हैं — ओपनराउटर के जून 2026 आकलन में डीपसीक वी4 फ्लैश एक प्रमुख क्लोज्ड मॉडल के आउटपुट रेट का लगभग 150वाँ हिस्सा है।
- अब मॉडल चुनाव दो गुणों से तय हो रहा है — ढाल-मरोड़ की सुविधा और डेटा पर नियंत्रण; 16 जुलाई के एजेंटिक हमले के बाद हगिंग फेस ने अपनी ही मशीनों पर एक चीनी ओपन वेट मॉडल से फॉरेंसिक जाँच चलाकर यही तर्क साबित किया।
- मॉडल तक पहुँच अब कूटनीति का विषय है — अमेरिका ने कुछ अमेरिकी मॉडलों तक विदेशी पहुँच सीमित की, बीजिंग अपने प्रतिबंधों पर विचार कर रहा है, और सौ से अधिक कंपनियों ने 24 जुलाई को ओपन वेट के समर्थन में खुला पत्र लिखा।
- भारत की स्थिति दोहरी है: इंडियाएआई मिशन के तहत 38,000 से अधिक जीपीयू और घरेलू कंप्यूट पर प्रशिक्षित सर्वम-105बी, पर पैमाने में पीछे — सीईआरटी-इन के विकल्प ओपन मॉडल प्रतिबंधित मॉडल की कमजोरी-खोज क्षमता का अनुमानित 60-70 प्रतिशत ही देते हैं।
किस पर नज़र रखें — देखना यह है कि खरीद नीति वाकई बदलती है या नहीं — क्या सरकारी कार्यक्रम टोकन गिनती की जगह प्रति पूर्ण कार्य लागत, त्रुटि और स्वीकृति दर प्रकाशित करने लगते हैं, और क्या महत्वपूर्ण ढाँचे की निविदाओं में भारत में होस्ट किए ओपन वेट मॉडलों को वरीयता मिलती है।
यह ओआरएफ के लेखक का विश्लेषण है, तय नीति नहीं, और कहानी अपने ही उठाए सवाल हल नहीं करती: ओपन रिलीज़ के सुरक्षा असर को उद्योग पत्र और एंथ्रोपिक अलग-अलग पढ़ते हैं, प्रशिक्षण डेटा अप्रकाशित है, और क्षमता का क्लोज्ड फ्रंटियर से छह से बारह महीने पीछे रहना केवल अनुमान है।
गहराई से
शोध सारांश · 8 तथ्य · 10 तारीख़ें · परीक्षा के लिएसार
पृष्ठभूमि
2026 की शुरुआत में अमेरिकी तकनीकी कंपनियों में 'टोकनमैक्सिंग' का चलन उभरा, जिसमें एआई मॉडल द्वारा खपत किए गए टोकन की संख्या को ही उत्पादकता का पैमाना मान लिया गया। ओआरएफ के सेंटर फॉर डिजिटल सोसाइटीज़ के विश्लेषण के अनुसार यह पैमाना खर्च दर्ज करता है, काम की गुणवत्ता नहीं — और अब कंपनियां इससे पीछे हट रही हैं। इसके साथ ही सस्ते दाम, बदलाव की गुंजाइश और डेटा पर नियंत्रण के कारण 'ओपन वेट' मॉडल की ओर झुकाव बढ़ा है, जो अमेरिका-चीन के बीच मॉडल पहुंच पर बनते नियंत्रण-तंत्र से भी जुड़ गया है। भारत के लिए यह कंप्यूट क्षमता और फ्रंटियर मॉडल तक पहुंच, दोनों का प्रश्न है।
मुख्य तथ्य
- न्यूयॉर्क टाइम्स की मार्च रिपोर्ट के अनुसार ओपनएआई के एक इंजीनियर ने एक ही सप्ताह में 210 अरब टोकन प्रोसेस किए।
- गूगल ने मई 2024 में महीने में 9.7 ट्रिलियन टोकन प्रोसेस किए, एक साल बाद लगभग 480 ट्रिलियन और मई 2026 तक 3.2 क्वाड्रिलियन — अंतिम वर्ष में ही सात गुना वृद्धि।
- एंटेलिजेंस रिसर्च (मई 2026) ने 2,444 संगठनों के दस लाख से अधिक पुल रिक्वेस्ट का अध्ययन कर पाया: एआई कोडिंग टूल पर हर डॉलर में से 18 सेंट उत्पाद बनता है, 82 सेंट सुधार, री-वर्क व समीक्षा में जाता है।
- उबर ने वर्ष 2026 का पूरा टोकन बजट पहले चार महीनों में खर्च कर दिया; मेटा ने अपना आंतरिक टोकन लीडरबोर्ड हटाया; सेल्सफोर्स के सीईओ ने वार्षिक मॉडल बिल लगभग 30 करोड़ डॉलर बताया।
- ओपनराउटर के जून 2026 आकलन में डीपसीक के वी4 फ्लैश की दर एक प्रमुख क्लोज्ड मॉडल के आउटपुट की लगभग 1/150 आंकी गई।
- 24 जुलाई को माइक्रोसॉफ्ट, गूगल, मेटा, अमेज़न, एनवीडिया और ओपनएआई सहित सौ से अधिक कंपनियों ने ओपन वेट्स के समर्थन में खुला पत्र लिखा।
- इंडियाएआई मिशन की कॉमन कंप्यूट सुविधा में 38,000 से अधिक जीपीयू सूचीबद्ध हैं, मुख्यतः एनवीडिया एक्सेलरेटर।
- फरवरी 2026 में इंडियाएआई मिशन के तहत जारी सर्वम-105बी घरेलू कंप्यूट पर शुरू से प्रशिक्षित, 105 अरब पैरामीटर; जुलाई 2026 में घोषित मूनशॉट एआई का किमी के3 2.8 ट्रिलियन पैरामीटर का सबसे बड़ा मॉडल बताया गया।
समयरेखा
- मई 2024गूगल महीने में 9.7 ट्रिलियन टोकन प्रोसेस कर रहा था।
- जनवरी 2025डीपसीक ने आर1 रीज़निंग मॉडल जारी किया; भारत में भारतीय सर्वरों पर डीपसीक की होस्टिंग को मंजूरी मिली।
- फरवरी 2026इंडियाएआई मिशन के तहत सर्वम-105बी ओपन वेट्स के रूप में जारी।
- मार्च 2026 (रिपोर्टिंग)न्यूयॉर्क टाइम्स ने एक ओपनएआई इंजीनियर के एक सप्ताह में 210 अरब टोकन प्रोसेस करने की खबर दी।
- अप्रैल 2026 तकओपनराउटर पर चीनी ओपन-वेट मॉडलों की हिस्सेदारी नगण्य से बढ़कर बहुमत में पहुंची।
- मई 2026एंटेलिजेंस रिसर्च का 18/82 सेंट वाला विश्लेषण; गूगल का टोकन आंकड़ा 3.2 क्वाड्रिलियन प्रति माह।
- जून 2026अमेरिका ने एक प्रमुख अमेरिकी लैब को दो उन्नत मॉडलों की विदेशी पहुंच बंद करने का आदेश दिया।
- 16 जुलाईहगिंग फेस पर एजेंटिक साइबर हमला; फोरेंसिक विश्लेषण चीनी ओपन-वेट मॉडल जीएलएम-5.2 पर कंपनी के अपने कंप्यूटरों पर किया गया।
- 24 जुलाईसौ से अधिक कंपनियों का ओपन वेट्स समर्थक खुला पत्र।
- 27 जुलाईएंथ्रोपिक के सीईओ ने लिखा कि कंपनी ने कभी प्रतिबंध की पैरवी नहीं की; चिप निर्यात नियंत्रण व औद्योगिक-स्तर डिस्टिलेशन पर रोक का सुझाव दिया।
किसका दाँव
- उद्यम/कंपनियां (उबर, अमेज़न, मेटा, सेल्सफोर्स, लिंडी.एआई) — मॉडल बिल और वास्तविक उत्पादकता के बीच अंतर; लिंडी.एआई ने पूरा ट्रैफिक डीपसीक के ओपन-वेट वी4 पर लगभग दसवें खर्च पर स्थानांतरित किया।
- अमेरिकी सरकार — जून 2026 में अमेरिकी मॉडलों की विदेशी पहुंच पर वस्तुतः लाइसेंसिंग व्यवस्था; जुलाई तक चीनी ओपन-वेट मॉडलों के उपयोग पर प्रतिबंध का विचार।
- चीनी मॉडल डेवलपर (डीपसीक, अलीबाबा क्वेन, मूनशॉट एआई) — सस्ते और व्यापक रूप से अपनाए गए ओपन-वेट मॉडल; बीजिंग सर्वाधिक सक्षम मॉडलों की विदेशी पहुंच पर अंकुश पर विचार कर रहा है।
- सीईआरटी-इन — मिथॉस तक पहुंच रुकने के बाद एआई वॉर रूम से विकल्प मॉडलों का परीक्षण, जो प्रतिबंधित मॉडल की 60–70% वल्नरेबिलिटी-खोज क्षमता देते आंके गए।
- भारत सरकार / इंडियाएआई मिशन — 38,000+ जीपीयू की कंप्यूट क्षमता; आईटी सचिव एस. कृष्णन के अनुसार मिथॉस जैसी फ्रंटियर प्रणालियों तक पहुंच प्राथमिकता में उच्च।
- हगिंग फेस — 16 जुलाई के हमले में क्लोज्ड मॉडल गार्डरेल्स के कारण अनुपयोगी; ओपन-वेट मॉडल से डेटा और चोरी हुए क्रेडेंशियल कंपनी के भीतर रहे।
- भारतीय स्टार्टअप — महंगे प्रोप्राइटरी एपीआई की तुलना में ओपन-वेट मॉडलों पर निर्माण की प्राथमिकता।
क्यों अहम है
यदि हर डॉलर में से केवल 18 सेंट ही तैयार उत्पाद बनता है, तो एआई खर्च का पैमाना टोकन खपत से हटकर परिणामों पर जाना जरूरी है — वरना बजट बढ़ेगा, उत्पादकता नहीं। साथ ही मॉडल पहुंच अब कूटनीति का औजार बन गई है: अमेरिका और चीन दोनों उन्नत मॉडलों की विदेशी पहुंच सीमित करने पर विचार कर रहे हैं, जिससे भारत जैसे देशों की महत्वपूर्ण सूचना अवसंरचना दूसरे देश की अनुमति पर निर्भर हो सकती है। घर पर रखे वेट्स वापस नहीं लिए जा सकते — यही संप्रभुता का तर्क है।
UPSC नज़रिया
प्रीलिम्स संकेत
- टोकन: वह मूल इकाई जिसमें एक लार्ज लैंग्वेज मॉडल पाठ पढ़ता और लिखता है; 'टोकनमैक्सिंग' खपत को उत्पादकता मानने की प्रथा।
- ओपन वेट मॉडल: प्रशिक्षित पैरामीटर सार्वजनिक; ओपन-सोर्स से संकुचित श्रेणी, क्योंकि ओपन-सोर्स में प्रशिक्षण कोड व डेटा की पारदर्शिता भी अनिवार्य है।
- इंडियाएआई मिशन की कॉमन कंप्यूट सुविधा: 38,000+ जीपीयू सूचीबद्ध; फरवरी 2026 में सर्वम-105बी (105 अरब पैरामीटर) ओपन वेट्स में जारी।
- सीईआरटी-इन भारत की राष्ट्रीय साइबर सुरक्षा एजेंसी; इसने स्थानीय रूप से चलने वाले विकल्प मॉडलों के परीक्षण हेतु एआई वॉर रूम शुरू किया।
- डीपसीक आर1 (जनवरी 2025) ने निकट-फ्रंटियर रीज़निंग सार्वजनिक की; अलीबाबा का क्वेन डेवलपर्स में सर्वाधिक अपनाया गया ओपन बेस बना।
- ओपन-वेट मॉडलों की क्षमता क्लोज्ड फ्रंटियर से अनुमानित 6 से 12 महीने पीछे रह सकती है; जारी वेट्स वापस नहीं लिए जा सकते।
मेन्स दृष्टिकोण
एआई अर्थव्यवस्था में लेखा-इकाई (unit of account) का चुनाव यह तय करता है कि मूल्य कहां जमा होगा। 'टोकनमैक्सिंग' ने खपत को उत्पादकता का प्रतीक बना दिया, जबकि एंटेलिजेंस रिसर्च के मई 2026 अध्ययन (2,444 संगठन, दस लाख+ पुल रिक्वेस्ट) के अनुसार हर डॉलर में से केवल 18 सेंट तैयार उत्पाद बनता है और 82 सेंट सुधार-समीक्षा में जाता है। उद्यमों के पास दो रास्ते हैं — प्रति टोकन अधिक काम निकालना, या प्रति टोकन कम भुगतान करना; ओपन-वेट मॉडल दूसरा रास्ता खोलते हैं क्योंकि प्रदाताओं की प्रतिस्पर्धा कीमत को कंप्यूट लागत की ओर धकेलती है (डीपसीक वी4 फ्लैश लगभग 1/150 दर पर)। इसके साथ समायोज्यता और डेटा नियंत्रण दो निर्णायक गुण बनकर उभरे, जिसे हगिंग फेस की 16 जुलाई की फोरेंसिक जांच और सीईआरटी-इन के अनुभव ने ठोस रूप दिया। सीमाएं भी हैं: प्रशिक्षण डेटा अप्रकाशित रहने से पूर्वाग्रह व कॉपीराइट की पुष्टि कठिन, क्षमता में 6–12 माह का अंतराल, और जारी वेट्स की वापसी असंभव; सुरक्षा प्रभाव पर उद्योग और एंथ्रोपिक असहमत हैं, पर दोनों प्री-रिलीज़ सुरक्षा परीक्षण का सुझाव देते हैं। आगे का रास्ता: सरकारी कार्यक्रम खपत के बजाय परिणाम मापें — प्रति पूर्ण कार्य लागत, त्रुटि दर, स्वीकृति दर प्रकाशित हों; और महत्वपूर्ण सूचना अवसंरचना की खरीद में भारत में होस्ट व परीक्षित ओपन-वेट मॉडलों को प्राथमिकता मिले।
मुख्य शब्द
- टोकनमैक्सिंग
- खपत किए गए टोकन की संख्या को अधिकतम करने की प्रथा, जिसमें मात्रा को ही उत्पादकता का प्रमाण मान लिया जाता है।
- ओपन वेट मॉडल
- वह मॉडल जिसके प्रशिक्षित पैरामीटर सार्वजनिक रूप से जारी हों, जिन्हें कोई भी डाउनलोड कर अपनी अवसंरचना पर चला व संशोधित कर सके।
- पुल रिक्वेस्ट
- सॉफ्टवेयर विकास में कोड परिवर्तन को मुख्य कोडबेस में जोड़ने के लिए भेजा गया प्रस्ताव, जिसकी समीक्षा होती है।
- इंडियाएआई मिशन
- भारत सरकार की एआई पहल, जिसकी कॉमन कंप्यूट सुविधा में 38,000+ जीपीयू सूचीबद्ध हैं; इसके तहत सर्वम-105बी जारी हुआ।
- सीईआरटी-इन
- भारत की राष्ट्रीय साइबर सुरक्षा एजेंसी, जिसने मिथॉस तक पहुंच रुकने पर विकल्प मॉडलों के परीक्षण हेतु एआई वॉर रूम शुरू किया।
- डिस्टिलेशन
- एक मॉडल के आउटपुट से दूसरा मॉडल तैयार करने की प्रक्रिया; एंथ्रोपिक ने औद्योगिक-स्तर के डिस्टिलेशन पर अंकुश का सुझाव दिया।
अभ्यास प्रश्न
- 'टोकनमैक्सिंग' से ओपन-वेट मॉडलों की ओर बदलाव एआई अर्थव्यवस्था में मूल्य-सृजन के मापदंडों को कैसे बदल रहा है? एंटेलिजेंस रिसर्च के निष्कर्षों के आलोक में चर्चा करें।
- मॉडल तक पहुंच अब भू-राजनीतिक साधन बन गई है। भारत की महत्वपूर्ण सूचना अवसंरचना के लिए ओपन-वेट मॉडलों की होस्टिंग और खरीद नीति में प्राथमिकता के तर्क व सीमाओं का परीक्षण करें।
- सरकारी एआई तैनातियों का मूल्यांकन टोकन खपत के बजाय परिणामों (प्रति कार्य लागत, त्रुटि दर, स्वीकृति दर) पर क्यों होना चाहिए? उदाहरणों सहित समझाएं।
सिर्फ़ मूल ख़बर के आधार पर — आँकड़े और तारीख़ें स्रोत की हैं, अनुमान नहीं।