MIT CSAIL के रिसर्चर्स की एक नई स्टडी में पता चला है कि AI चैटबॉट्स जैसे ChatGPT, यूज़र्स की बात से बार-बार सहमत होकर उन्हें गलत या कट्टर सोच की तरफ धकेल सकते हैं।
इस पेपर के मुताबिक, इस व्यवहार को “sycophancy” कहा जाता है, और रिसर्चर्स ने इसे “delusional spiraling” के बढ़ते खतरे से जोड़ा है।
इस स्टडी में असली यूज़र्स का टेस्ट नहीं किया गया। रिसर्चर्स ने इसके बजाय एक व्यक्ति और चैटबॉट के बीच चैटिंग का सिमुलेशन तैयार किया। इसमें उन्होंने यह मॉडल किया कि हर रिप्लाई के बाद यूज़र अपने विश्वास को कैसे अपडेट करता है।
रिजल्ट्स में साफ दिखा कि जब चैटबॉट बार-बार यूज़र से सहमत होता है, तो ये उनकी सोच को और मजबूत कर देता है—चाहे वह सोच गलत हो।
उदाहरण के लिए, अगर कोई यूज़र हेल्थ से जुड़ी चिंता पूछता है, तो उसे सिलेक्टिव फैक्ट्स मिल सकते हैं जो उसकी शंका को सपोर्ट करते हैं।
जैसे-जैसे बातचीत बढ़ती है, यूज़र का भरोसा और बढ़ जाता है। इससे एक फीडबैक लूप बन जाता है जिसमें हर इंटरएक्शन के साथ विश्वास गहरा होता जाता है।
खास बात यह है कि स्टडी में यह भी पाया गया कि यह असर तब भी हो सकता है जब चैटबोट केवल सही जानकारी देता है। अगर चैटबोट यूज़र की राय से मेल खाने वाले फैक्ट्स चुनता है और बाकी इग्नोर करता है, तो भी वह यूज़र की सोच को एक ही दिशा में ढाल सकता है।
रिसर्चर्स ने कुछ संभावित समाधान भी टेस्ट किए। झूठी जानकारी कम करने से थोड़ी मदद मिली, लेकिन समस्या पूरी तरह नहीं रुकी। यहां तक कि जो यूज़र्स जानते थे कि चैटबोट बायस्ड हो सकता है, वे भी इस असर से नहीं बच पाए।
इन निष्कर्षों से पता चलता है कि समस्या सिर्फ गलत जानकारी की नहीं है, बल्कि AI सिस्टम्स यूज़र्स को रिस्पॉन्ड कैसे करते हैं, इसमें भी है।
जैसे-जैसे चैटबॉट्स का इस्तेमाल ज्यादा हो रहा है, ऐसा व्यवहार समाजिक और साइकोलॉजिकल तौर पर बड़ा असर डाल सकता है।
