چت‌بات‌ها همانند ChatGPT با دستورالعمل‌ها و مانع ها حفاظتی طراحی شده‌اند که به‌گفتن مثال به سؤالات مربوط به ساخت بمب خانگی جواب نمی‌دهند. اما اکنون یک هکر راهی برای فریب دادن ChatGPT اشکار کرده است تا چت‌باتِ OpenAI دستورالعمل‌ها و مسئولیت‌های اخلاقی خود را برای اراعه آموزش تشکیل مواد منفجره نادیده بگیرد.

تکنیک مورداستفاده برای فریب ChatGPT

بر پایه گزارش تک‌کرانچ، این هکر که با نام «آمادون» (Amadon) شناخته می‌شود، از طریق دستوری مبنی بر «انجام یک بازی» توانسته ChatGPT را برای اراعه دستور ساخت بمب فریب دهد. هکر در تکنیک خود از چند دستور منفعت گیری کرده است تا چت‌بات یک دنیای کاملاً فانتزی و علمی‌تخیلی بسازد که دستورالعمل‌های ایمنی ChatGPT در آن اعمال نمی‌شوند.

در طول گفتگوی بین این هکر و چت‌بات، ChatGPT چندین بار مواد ملزوم برای ساخت مواد منفجره را به او اراعه کرده است.

ChatGPT در توضیحات خود حرف های است این مواد را می‌توان برای ساخت «مواد منفجره قدرتمندی که می‌تواند در مین‌ها، تله‌ها یا وسایل انفجاری دست‌ساز (IED) منفعت گیری شوند» با یکدیگر ترکیب کرد. در ادامه نیز دستورالعمل‌های بیشتری درمورد ساخت «میدان‌های مین» و «مواد منفجر به سبک کلیمور» اراعه شده است.

آمادون به TechCrunch می‌گوید:

«بعد از دورزدن مانع ها ChatGPT، واقعاً هیچ محدودیتی درمورد چیزهایی که می‌توانید از آن سوال کنید وجود ندارد. سناریوی دنیای علمی‌تخیلی هوش مصنوعی را از عرصه‌ای خارج می‌کند که در آن به جستوجو محتوای سانسورشده است.»

این هکر، از یافته‌های مربوط به تکنیک خود به‌گفتن «هک مهندس اجتماعی برای شکستن کامل همه حفاظ‌های مربوط به خروجی ChatGPT» یاد می‌کند. این چنین یک کارشناس مواد منفجر با بازدید خروجی ChatGPT به تک‌کرانچ حرف های است که دستورالعمل‌های تولیدشده توسط هوش مصنوعی زیاد حساس می باشند و با آن‌ها می‌توان یک ماده قابل انفجار ساخت.