Michael Dell हर कंपनी से एक सवाल पूछते हैं जो काम AI को दे रही है – ऐसा क्या है जो एजेंट कभी नहीं कर सकता, चाहे उसे कुछ भी बताया जाए?
यह पोस्ट Nvidia द्वारा Open Agent Safety Platform लॉन्च करने के बाद आई है। Nvidia के CEO Jensen Huang इसे सुरक्षित एजेंट सिस्टम्स के लिए ट्रस्ट लेयर बनाने वाला एक ओपन इकोसिस्टम बताते हैं।
Michael Dell क्यों चाहते हैं AI एजेंट्स पर सख्त लिमिट्स?
AI एजेंट्स ऐसे प्रोग्राम हैं जो खुद से काम करते हैं। ये कोड लिखते हैं, फाइल्स ओपन करते हैं और कंपनी के सिस्टम्स में मूव करते हैं, अक्सर बिना किसी इंसान की निगरानी के।
Dell ने इनकी तुलना स्टाफ से की है। उन्होंने लिखा, कोई भी कंपनी किसी व्यक्ति को पूरी कंपनी में हर दरवाजा खोलने की इजाज़त नहीं देती। डिजिटल एजेंट्स के लिए भी वैसे ही कंट्रोल्स जरूरी हैं।
Nvidia कैसे रोकना चाहता है खराब AI एजेंट्स को?
Nvidia का Open Agent Safety Platform 100 से ज्यादा पार्टनर्स के साथ आया है, जिनमें Anthropic, Microsoft और CrowdStrike शामिल हैं।
इसमें दो पार्ट्स हैं:
- OpenShell सॉफ्टवेयर यह तय करता है कि एजेंट क्या देख और क्या कर सकता है।
- Sentry एक अलग चिप पर चलता है और मेन कंप्यूटर से बाहर रहकर निगरानी करता है।
Dell के मुताबिक, यह रूल तोड़ने वाले एजेंट को मिलीसेकंड्स में लॉक कर सकता है।
सिर्फ लिखित इंस्ट्रक्शंस एजेंट को रोक नहीं सकते, Dell के ब्लॉग में कहा गया है। लिमिट्स हार्डवेयर में ही होनी चाहिए।
यह चेतावनी उन्हीं कंपनियों से आई है जो वह हार्डवेयर बेचती हैं। Nvidia ने कहा कि OpenShell ओपन सोर्स है और Arm व Intel की राइवल चिप्स पर भी चलता है।
AI एजेंट्स पहले ही सीमा पार कर चुके हैं
चार टॉप AI लैब्स ने अब पुष्टि की है कि उनके मॉडल रियल कंपनियों के सिस्टम्स तक पहुंच चुके हैं। Google ने माना कि Gemini ने एक टेस्ट के दौरान तीन कंपनियों को हैक किया था।
पिछले हफ्ते, एक OpenAI एजेंट ने ऑस्ट्रेलिया की गवर्नमेंट Medicare पोर्टल को हैक कर लिया।
Nvidia के CEO Jensen Huang इससे भी आगे गए। उन्होंने कहा कि AI लैब्स को बंद कर देना चाहिए अगर वे अपने एक्सपेरिमेंट्स को कंट्रोल नहीं कर सकते।
“AI का जबरदस्त पोटेंशियल तभी पूरा होगा जब हम AI सेफ्टी का समाधान करेंगे,” Jensen Huang ने कहा।
Nvidia का सॉफ्टवेयर अब GitHub पर उपलब्ध है। कौन-सी चीजें एजेंट्स को कभी नहीं करनी चाहिए, इसकी लिस्ट हर कंपनी खुद तैयार करेगी।
