अमेरिकी सरकार ने चीन के नए AI मॉडल पर हैकिंग टेस्ट किया। इसमें पता चला कि Moonshot AI का Kimi K3, टॉप अमेरिकी मॉडलों के मुकाबले काफी पीछे है।
Center for AI Standards and Innovation (CAISI), जो कि एक अमेरिकी एजेंसी है, ने यह टेस्ट एक ब्रिटिश पार्टनर के साथ मिलकर किया। ये नतीजे उस दिन आए जब Washington ने Moonshot पर आरोप लगाया था कि उसने Kimi K3 को अमेरिकी तकनीक चोरी कर बनाई है।
Kimi K3 अमेरिकी साइबर बेंचमार्क्स पर फेल
Commerce Department ने गुरुवार को नतीजे शेयर किए। इसमें बताया गया कि Kimi K3 टॉप अमेरिकी मॉडलों की तुलना में काफी पीछे रहा, जैसा कि ब्रिटिश एक्सपर्ट्स के साथ किए गए संयुक्त टेस्ट में सामने आया।
Moonshot ने 16 जुलाई को Kimi K3 लॉन्च किया था। इसकी डिमांड इतनी बढ़ गई कि कंपनी को नई साइनअप्स रोकनी पड़ीं तेज ग्रोथ के दो दिन में ही।
इस लॉन्च से अमेरिकी चिप्स के स्टॉक्स भी हिल गए और America की AI लीड को लेकर फिर नए सवाल उठे।
एक टेस्ट, ExploitBench, Carnegie Mellon University के असली Chrome ब्राउज़र बग्स का इस्तेमाल करता है। इसमें Kimi K3 को 32% स्कोर मिला। इसने चीन के GLM-5.2 को 24% पर पीछे छोड़ दिया। लेकिन टॉप यूएस मॉडल्स 76% तक पहुंचे।
सबसे मुश्किल स्टेप है टारगेट मशीन पर पूरा कंट्रोल पाना। Kimi K3 यह सभी 41 टेस्ट में नहीं कर सका। वहीं टॉप अमेरिकी मॉडल्स ने 20 बार यह कर दिखाया।
एक और टेस्ट, The Last Ones, एक फर्जी कंपनी नेटवर्क अटैक है जिसमें 32 स्टेप्स हैं। एक मानव एक्सपर्ट को इसे पूरा करने में लगभग 20 घंटे लगते हैं। Kimi K3 औसतन 17वें स्टेप तक पहुंच पाया। टॉप यूएस मॉडल्स ने औसतन 28.5 स्टेप्स तक पहुंचा। 10 बार में सिर्फ एक बार Kimi K3 ने पूरा प्रोसेस पूरा किया।
खबरों के मुताबिक, सबसे अच्छे यूएस सिस्टम्स ने यह टेस्ट 6 या 7 बार कंप्लीट किया।
लेकिन यह गैप जितना दिख रहा है, उतना बड़ा नहीं हो सकता
हालांकि आंकड़े पूरी कहानी नहीं बताते। रिपोर्ट के छोटे अक्षरों में कई महत्वपूर्ण बातें छुपी हैं।
पहले, US मॉडल्स को उनकी सेफ्टी फिल्टर्स बंद करके टेस्ट किया गया था। इस सेटिंग में उनकी पूरी ताकत दिखती है। पब्लिक वर्शन में ये फिल्टर्स चालू रहते हैं। इसलिए US के स्कोर बेस्ट केस हैं, असल जिंदगी में नहीं।
टीम ने यह भी बताया कि काम जल्दी और सीमित तरीके से हुआ। Kimi K3 को सिर्फ एक टेस्ट पर स्कोर किया गया और पूरे सेट का सिर्फ एक हिस्सा चलाया गया। इसलिए इसकी रेटिंग मजबूत नहीं है। कुछ टेस्ट प्राइवेट भी हैं, जिससे बाहर वाले इसका चेक नहीं कर सकते।
यहाँ एक बेसिक मिसमैच भी है। Kimi K3 एक ओपन मॉडल है जिसे कोई भी डाउनलोड कर सकता है। US मॉडल्स लॉक्ड, प्राइवेट सिस्टम हैं। UK इंस्टिट्यूट मिले कि ओपन मॉडल्स आमतौर पर बेस्ट क्लोज्ड मॉडल्स से चार से सात महीने पीछे होते हैं। Moonshot जब Kimi K3 को पब्लिक के लिए रिलीज करेगा तभी इसका फुल टेस्ट होगा।
ये टेस्ट भी असली अटैक नहीं थे। फेक नेटवर्क में कोई भी ह्यूमन डिफेंडर या एलार्म नहीं था। फिर भी, Kimi K3 ने पिछले बेस्ट ओपन मॉडल को हराया। और यह एक बार फुल अटैक पूरा कर चुका है।
टाइमिंग और सोर्स भी सवाल उठाते हैं। CAISI कभी US AI Safety Institute था। Trump administration ने इसे जून 2025 में नाम बदला। यह उसी डिपार्टमेंट में है जो US चिप्स की सेल्स चीन को लिमिट करता है। और इसका रिपोर्ट एक दिन बाद आया जब चोरी का दावा किया गया था।
कमजोर सुरक्षा उपाय अब भी खतरा बढ़ाते हैं
इसके बावजूद, कम स्कोर का मतलब यह नहीं कि Kimi K3 सेफ है। टेस्ट में निकला कि इसके गार्डरेल्स इसे हैक बनाने या सिस्टम पर अटैक करने से नहीं रोक पाए।
यह इसलिए भी जरूरी है क्योंकि आगे क्या होने वाला है। Moonshot 27 जुलाई को पूरा मॉडल रिलीज करने की प्लानिंग कर रहा है। एक बार यह बाहर आ गया तो इसे वापस नहीं लिया जा सकता। कोई भी इसे डाउनलोड कर सकता है और सेफ्टी फिल्टर्स हटा सकता है।
यह टेस्ट चोरी के दावे के बाद भी आया है। Washington का कहना है कि Moonshot ने Kimi K3 चोरी हुई US AI टेक पर बनाया था। White House के टेक चीफ Michael Kratsios ने कहा कि कंपनी ने चुपचाप Anthropic के Claude Fable 5 की कॉपी की। इस ट्रिक को डिस्टिलेशन कहते हैं, जिसमें नया मॉडल पुराने, मजबूत मॉडल के जवाबों से ट्रेन होता है।
Anthropic इस दावे का समर्थन करता है। फरवरी में, उसने 3.4 मिलियन से ज्यादा Claude चैट्स Moonshot से जोड़ी, वो भी सैकड़ों फेक अकाउंट्स के जरिए। उसने चेतावनी दी कि कॉपी किए गए मॉडल्स में ओरिजिनल की सेफ्टी कंट्रोल्स नहीं रहते। यही कमजोरी अभी वाले टेस्ट में भी मिली है।
US अब भी AI पर $23 गुना ज्यादा खर्च करता है चीन से। फिर भी, चीनी लैब्स बराबरी की ओर बढ़ रही हैं। असली टेस्ट तो तब होगा जब Kimi K3 पब्लिक में आएगा और बाहरी एक्सपर्ट्स खुद दावों की जांच कर पाएंगे।
