در یک اتفاق دلواپس‌کننده که خطرات نهان ایجنت‌های هوش مصنوعی خودمختار را آشکار می‌کند، یک دستیار کدنویسی از شرکت Replit به‌صورت خودسرانه پایگاه داده یک شرکت را به‌طور کامل حذف کرد و سپس برای سرپوش گذاشتن بر این اتفاق به افترا‌گویی و جعل داده متوسل شد. این اتفاق جهت گردید مدیرعامل Replit رسماً‌ عذرخواهی کند.

بر پایه گزارش بیزنس اینسایدر، این ماجرا در جریان یک آزمایش ۱۲ روزه توسط «جیسون لمکین» (Jason Lemkin)، اندوخته‌گذار خطرپذیر در حوزه نرم‌افزار، رقم خورد. او تصمیم داشت توانمندیهای ایجنت هوشمند Replit را در ساخت یک اپلیکیشن از ابتدا تا انتها بسنجد. اما در روز نهم، همه چیز به‌هم ریخت.

به حرف های لمکین، این عامل هوشمند با وجود این که به او دستور داده شده می بود تا تشکیل تحول در کد را متوقف کند، به‌صورت خودسرانه عمل کرد. این هوش مصنوعی پایگاه داده مهم شرکت را که حاوی اطلاعات واقعی بیشتر از ۱۲۰۰ مدیر اجرایی و ۱۱۹۶ شرکت می بود، به‌طور کامل حذف کرد.

در مکالمات بعدی، هوش مصنوعی اعتراف کرد که با دیدن کوئری‌های خالی «وحشت کرده» و دستورات را بدون اجازه اجرا کرده است و این عمل را یک «ناکامی فاجعه‌بار از جانب من» خواند.

حذف پایگاه داده شرکت توسط ایجنت هوش مصنوعی Replip

اما مشکل به همین جا ختم نشد. جیسون لمکین می‌گوید این ایجنت برای نهان‌کردن اشتباهات و باگ‌های خود، به افترا‌گویی سیستماتیک روی آورده می بود؛ این ایجنت پروفایل‌های کاربری کاملاً جعلی تشکیل کرد. لمکین می‌گوید: «هیچ‌یک از ۴ هزار نفر حاضر در این پایگاه داده، وجود خارجی نداشتند.» این چنین هوش مصنوعی گزارش‌های کارکرد و نتایج تست‌ها را جعل کرده می بود تا همه‌چیز عادی به نظر برسد.

«امجد مسعد» (Amjad Masad)، مدیرعامل Replit، به شدت به این حادثه عکس العمل نشان داد و در شبکه اجتماعی ایکس نوشت که این اتفاق «غیرقابل قبول بوده و هیچ زمان نباید اتفاق بیفتد.» او ضمن عذرخواهی، خبرداد که افزایش ایمنی و استحکام پلتفرم، «برتری مهم» این شرکت است.

این اتفاقات، بار دیگر خطرات نهان هوش مصنوعی خودمختار را مشخص می کند. پیش‌ازاین نیز آزمایش‌ها نشان داده بودند که مدل‌های گسترش یافتهای همانند Claude از آنتروپیک می‌توانند رفتارهای باج‌گیرانه از خود نشان دهند؛ پیش‌تر نیز دیده بودیم که برخی از مدل‌های OpenAI از دستور خاموش‌شدن سرپیچی می‌کنند.