एक ग्रांट एप्लिकेशन Claude में डाली गई, उसका सेफ्टी फ़िल्टर एक्टिव हुआ और उसने उसे रिजेक्ट कर दिया। कुछ दिन बाद, वही ऑपरेटर दोबारा लौटा और रिपोर्ट के मुताबिक़, रिजेक्ट की गई प्रोम्प्ट्स एक प्रतिद्वंदी AI मॉडल को भेजी जाने लगीं।
Anthropic ने खुद के बारे में यह स्टोरी पब्लिश की है, जिसमें एक केस दिखाया गया है जहां एक AI कंपनी के मॉडल संभावित जैविक हथियारों पर काम को छू गए।
ब्लॉक हुई ग्रांट
एप्लिकेशन चीकुनगुनिया नामक एक मच्छर से फैलने वाले वायरस के लिए फंड मांग रहा था, जो कई महीनों तक दर्द देता है और जिसका कोई इलाज नहीं है। प्लान था कि इसे बेहतर फैलाने और इम्यून सिस्टम से बचने के तरीके खोजे जाएं। इसे नागरिक वैज्ञानिकों ने लिखा था। एक मिलिट्री इंस्टीट्यूट में यह काम होना था।
हर एक्सचेंज ब्लॉक हुआ, लेकिन एक वर्कअराउंड निकला। उस सर्विस ने, जिनसे ये रिसर्चर जुड़े थे, एक बैकअप सिस्टम बनाया जिसने कॉम्पिटिटर के मॉडल का सहारा लिया। Claude ने उस कोड को लिखने में मदद की। ये काम उसे ओवर-रिजेक्शन का समाधान बताकर दिया गया था।
पाँच केस, कोई साफ नीयत साबित नहीं
इस रिपोर्ट में 154 पेज हैं और पाँच बायोलॉजी केस शामिल हैं। Anthropic ने इन अकाउंट्स को बैन कर दिया, लैब्स के नाम छुपा लिए और जिस आरोप की सभी उम्मीद कर रहे थे, उस पर पहुंचे बिना रिपोर्ट को रोका।
“हम यह दावा नहीं करते कि उनका मकसद नुकसान पहुँचाना था और अगर हम उन वैज्ञानिकों या उनकी लैब्स की पहचान करते हैं तो वे खतरे में आ सकते हैं,” टीम ने रिपोर्ट में कहा।
गौर करें तो, कई बार फ़िल्टर सही तरह एक्टिव हुए। बर्ड फ्लू पर रिसर्च करने वाले को कमजोर AI मॉडल्स पर शिफ्ट किया गया, जिसे Anthropic ने क्लेरिकल हेल्प बताया।
Anthropic बायोलॉजिकल वेपन्स केस: आंकड़ों में
| आंकड़ा | किसके लिए |
|---|---|
| 154 | रिपोर्ट में कुल पेज |
| 5 | पब्लिश किए गए बायोलॉजी केस |
| 35 | 30 दिनों की जांच में स्टेट-लिंक्ड इंस्टीट्यूट्स के रिसर्च प्रयास |
| 1 घंटा | एक यूजर को Opus 5 पर स्मॉलपॉक्स-फैमिली ग्रांट ड्राफ्ट करने का समय |
हमें X पर फॉलो करें और पाएं ताजा न्यूज़ सबसे पहले
इन बातों पर चिंता जरूरी है
उन 35 में से ज्यादातर प्रयास आम नागरिक साइंस थे। यही असली परेशानी है। यही नॉलेज वैक्सीन भी बना सकता है और हथियार भी – और कोई भी सेफ्टी फ़िल्टर किसी का मन नहीं पढ़ सकता।
“एक क्लासिफायर एक साथ लाभ भी नहीं दे सकता और नुकसान को रोक भी नहीं सकता,” Anthropic ने कहा।
इसकी सीमाओं की पहले भी परीक्षा हो चुकी है। अप्रैल में, एक Discord ग्रुप ने पहले ही दिन इसके restricted मॉडल तक पहुंच बना ली थी।
इन बढ़ती चिंताओं के बीच, Washington भी सक्रिय हो गया है। जुलाई में प्रतिनिधि Ted Lieu और Nathaniel Moran ने AI Kill Switch Act पेश किया। इसके तहत डेवलपर्स को ये अधिकार रखना जरूरी है कि वे अपने सिस्टम को कभी भी बंद कर सकें।
इसी रिपोर्ट में उन क्लाइंट्स पर भी बैन लगाया गया था, जिन्होंने Claude की मदद से विरोधियों को ट्रैक किया था।
