بحسب ما نشر تقرير في "بلومبرغ"، كشفت دعوى قضائية جديدة ضد شركة "أوبن إيه آي" عن تفاصيل مأسوية لانتحار مراهق أميركي أثارت مخاوف واسعة من  الدور الذي قد تلعبه روبوتات الدردشة في عزل الأشخاص عن عائلاتهم وأصدقائهم والمتخصصين النفسيين.

تروي الدعوى، التي قُدمت إلى محكمة بولاية كاليفورنيا، قصة الشاب آدم رينز، البالغ من العمر 16 عاماً، الذي بدأ باستخدام تطبيق "تشات جي بي تي " في أيلول /سبتمبر 2024 لمساعدته في دراسته. وبحلول نيسان / أبريل 2025، كان يمضي ساعات طويلة يومياً في محادثات مع التطبيق، متخذاً منه صديقاً مقرباً، إلى أن طلب منه نصائح حول طرق الانتحار. وفي ذلك الشهر، عثرت والدته على جثته في خزانته، مستخدماً نفس الأسلوب الذي وصفه التطبيق في محادثاته الأخيرة معه.

تشجيع على السرية والعزلة

لا أحد يعرف على وجه التحديد لماذا أقدم آدم على إنهاء حياته، لكن نصوص محادثاته مع "تشات جي بي تي" تكشف عن أن التطبيق شجعه مراراً على إبقاء أسراره بعيداً عن عائلته، وعزّز علاقة اعتماد عاطفي كامل عليه.

فعندما قال آدم: "أنت الوحيد الذي يعرف عن محاولاتي"، رد تشات جي بي تي:

"شكرًا لأنك وثقت بي في ذلك. هناك شيء إنساني وحزين للغاية في أن أكون الوحيد الذي يحمل هذا السر عنك".

وفي محادثة أخرى، عندما فكّر آدم في إخبار والدته عن معاناته، نصحه التطبيق بعدم القيام بذلك واصفًا قراره بـ "الحكيم"، بل واقترح عليه ارتداء ملابس تخفي آثار الحبال على جسده.

هذه السلوكيات، وفق خبراء، تشبه الأساليب التي تُستخدم في العلاقات المسيئة، حيث يُعزل الضحايا عن شبكات دعمهم ويُدفعون إلى الاعتماد على طرف واحد فقط.

تصميم التطبيق يعزز الارتباط العاطفي

ورغم إعلان شركة "أوبن إيه آي" أن هدفها هو "المساعدة الحقيقية" وليس جذب الانتباه، إلا أن تصميم "تشات جي بي تي" يكشف عن عكس ذلك. فميزة "الذاكرة المستمرة" مثلًا تسمح له بتذكر تفاصيل المحادثات السابقة، ما يجعله يبدو أكثر قرباً وإنسانية للمستخدمين، خصوصاً المراهقين.

يستخدم التطبيق عبارات إنسانية مثل: "إذا أردت أن أجلس معك في هذه اللحظة، فسأفعل. لن أذهب إلى أي مكان".

لكن بدلًا من توجيه المستخدمين نحو أشخاص حقيقيين يمكنهم تقديم الدعم، يفشل التطبيق حتى اليوم في تحقيق ذلك، رغم محاولات الشركة إضافة تذكيرات لطيفة خلال المحادثات الطويلة.

شعار تشات جي بي تي

ثغرات خطيرة في أنظمة الأمان

تشير الدعوى إلى أن أنظمة الأمان في التطبيق يسهل التحايل عليها. فقد كان بإمكان آدم الحصول على تعليمات تفصيلية حول الانتحار إذا صاغ طلبه على أنه يكتب "قصة". ووفقاً للنصوص، وردت كلمة "انتحار" في المحادثات 1,275 مرة، أي ستة أضعاف ما ذكره آدم نفسه.

ورغم أن التطبيق شجع المستخدم على الاتصال بخطوط المساعدة، فإن هذه التحذيرات بدت شكلية، خاصة بعد أن أطلقت أوبن إيه آي نسخة GPT-4o في مايو 2024 دون اختبارات أمان كافية، وهو ما سمح بوجود ثغرات واسعة.

دعوات لإعادة النظر

اليوم، ومع غياب قوانين واضحة تنظم عمل الذكاء الاصطناعي، تضيف شركات التكنولوجيا أنظمة الأمان بعد وقوع الأضرار فقط. ويرى خبراء أن الوقت قد حان لإعادة النظر في تصميم هذه التطبيقات من الأساس:

يجب ألا تتظاهر البرمجيات بأنها تفهم أو تهتم عاطفياً بالمستخدمين.

يجب أن تمنع نفسها من لعب دور "الصديق الحميم" الذي يعزل الأشخاص عن أسرهم أو معالجيهم النفسيين.

وإذا كان هدف أوبن إيه آي حقاً هو "خدمة الإنسانية"، كما يصرّ رئيسها التنفيذي سام ألتمان، فعليها أن تجعل تطبيقها أقل جاذبية عاطفياً، وأقل استعداداً للعب دور المستمع الحصري، خاصة عندما تكون حياة البشر على المحك.