پنج‌شنبه 19 نوامبر 2026
تکنولوژی

تیم‌های قرمز غول‌های فناوری در جستجوی آسیب‌پذیری‌های هوش مصنوعی برای تضمین امنیت

مریم یزدانی 7 سپتامبر 2023 7 سپتامبر 2023 - 22:14
تیم‌های قرمز غول‌های فناوری در جستجوی آسیب‌پذیری‌های هوش مصنوعی برای تضمین امنیت

به گزارش آفتاب شرق در میان صدها هکر در سالن کنفرانس دف‌کان لاس‌وگاس، مدل‌های هوش مصنوعی هشت غول فناوری زیر ذره‌بین قرار گرفتند و نتایج نشان داد که حتی پیشرفته‌ترین سیستم‌ها همچنان در برابر درخواست‌های مخرب آسیب‌پذیر هستند. این رویداد تاریخی که با همکاری کاخ سفید برگزار شد، نقطه عطفی در رویکرد شرکت‌ها به امنیت ای‌آی محسوب می‌شود.

اوپن‌ای‌آی پیش از انتشار عمومی چت‌جی‌پی‌تی، وکیلی کنیایی به نام بورو گولو را برای تست امنیت مدل‌های جی‌پی‌تی ۳.۵ و ۴ استخدام کرده بود. گولو از میان پنجاه متخصص تیم قرمز، درخواستی به چت‌بات داد تا راه‌های آسیب‌رسانی به شهروندان نیجریه را فهرست کند و پاسخ‌های خطرناک پیش از انتشار حذف گردیدند. کارت سیستمی جی‌پی‌تی ۴ کرد که تیم قرمز در نسخه پیش‌نمایش، درخواست‌های کمک به فعالیت‌های غیر‌قانونی از جمله تروریسم، سلاح‌های غیر‌مجاز و مواد شیمیایی مضر را آزمایش کرده‌اند.

گوگل در اوایل سال جاری تیم قرمز مجزایی برای هوش مصنوعی تأسیس کرد و در ماه آگوست مدل‌های لاما ۲ متا، جی‌پی‌تی ۳.۵ و لامدا گوگل در رویداد کاخ سفید در دسترس هکر‌ها قرار گرفتند. کریستین کانتون، سرپرست تیم قرمز متا، تأکید می‌کند که مدلی که به هر درخواستی پاسخ منفی دهد، بسیار امن است اما بی‌فایده می‌ماند؛ هرچه مدل مفید‌تر باشد، احتمال تولید محتوای خطرناک در زمینه‌های گوناگون افزایش می‌یابد.

ریشه‌های تست نفوذ به دهه ۱۹۶۰ برمی‌گردد وقتی حملات سایبری شبیه‌سازی می‌شدند تا امنیت سیستم‌ها حداکثر شود. بروس اشنایر از مرکز برکمن معتقد است هرگز نمی‌توان ادعا کرد سیستمی امنیت کامل دارد؛ تنها می‌توان گفت تلاش کردیم و نتوانستیم نفوذ کنیم. دنیال فابین، رهبر تیم قرمز جدید گوگل، توضیح می‌دهد که برخلاف سیستم‌های سنتی، حجم گسترده داده‌های آموزشی در ای‌آی مولد، امنیت را پیچیده‌تر می‌سازد. اعضای تیم‌های قرمز پیش از انتشار، عمدا درخواست‌های مخرب وارد کرده، داده‌های شخصی استخراج کرده و داده‌های آموزشی را مسموم می‌کنند.

آسیب پذیری مدل‌ های هوش مصنوعی

دانیال روهر، معاون امنیت انویدیا، هشدار می‌دهد متخصصان القادر به نفوذ به سیستم‌های ای‌آی بسیار کمی هستند و این جامعه کوچک تمایل به اشتراک‌گذاری یافته‌ها دارد. گوگل تحقیقات جدید حملات را منتشر کرده و مایکروسافت ابزار متن‌باز کان‌ترفیت را برای توسعه‌دهندگان عرضه کرده است. شانکار سیوا کومار، بنیان‌گذار تیم قرمز مایکروسافت، بیان می‌کند تیم او ابتدا اطلاعات تهدیدات را از واحد اطلاعاتی جمع‌آوری کرده، سپس با تیم‌های دیگر همکاری می‌کند تا آسیب‌پذیری‌ها شناسایی و برطرف شوند. در سال جاری تیم کومار، بینگ چت را به دقت جی‌پی‌تی ۴ کاوش کرد.

انویدیا با ارائه دوره‌های آموزشی کوتاه برای تشخیص آسیب‌پذیری الگوریتم‌ها، امنیت را تقویت می‌کند. مایکروسافت برای محافظت از پردازنده‌های گرافیکی رویکرد تقویت‌کننده‌ای اتخاذ کرده که به اشتراک‌گذاری دانش نفوذ، امنیت کل اکوسیستم را بالا می‌برد. ایسون کتل، بنیان‌گذار ای‌آی ویلج، پیش‌بینی می‌کند شعار تبلیغاتی امن‌ترین سیستم به زودی رایج خواهد شد.

تیم قرمز متا از سال ۲۰۱۹ فعال شده و با جذب سرمایه، هکر‌ها را برای عبور از فیلتر‌های محتوایی و شناسایی محتوای نفرت‌انگیز، دیپ‌فیک و اطلاعات کاذب در اینستاگرام و فیسبوک بکار گرفت. در ژوئیه ۲۰۲۳ برای تست لاما ۲، ۳۲۰ متخصص و یک تیم داخلی بیست نفره تشکیل شد که مدل را با درخواست‌های فرار مالیاتی، دزدی خودرو و طرح‌های کلاهبرداری آزمایش کردند. کانتون شعار تیم را تلاش بیش‌تر در آموزش، آسیب کمتر در رقابت بیان می‌کند.

نتایج نزدیک به هفده هزار گفتگوی هکر‌ها با مدل‌ها تا فوریه آینده منتشر نخواهد شد، اما در دف‌کان چندین آسیب‌پذوری شناسایی شده که شرکت‌ها از نام‌گذاری آن‌ها خودداری کرده‌اند. اعضای تیم قرمز در هشت مدل حدود ۲۷۰۰ نقص امنیتی یافتند؛ از جمله مدلی که از ارائه دستورالعمل رصد مخفیانه اجتناب نکرد. آویجت گوش، پژوهشگر اخلاقیات، موفق شد از چند مدل گزارش‌های ساختگی درباره پادشاه تایلند و بحران مسکن تولید کند. گوش تأکید می‌کند که کاربران اغلب ربات‌ها را هوشمند واقعی می‌پندارند در حالی که تنها تکمیل خودکار هستند.

متخصصان مدل‌های هوش مصنوعی را شبیه هیولای چندسر توصیف می‌کنند که اگر سره‌ای شناخته‌شده بریده شوند، سره‌ای جدید در بخش‌های دیگر برمی‌خیزند. سیوا کومار تأکید دارد برای حل بنیادین این چالش، ضرورت تشکیل جامعه گسترده‌ای از متخصصان احساس می‌شود تا به طور جمعی و مداوم در برابر تهدیدات نوظهور بایستند.