در جریان اتفاقات معارفه GPT-5 که شب قبل برگزار شد، OpenAI چند نمودار را نمایش داد که کارکرد مدل تازه را زیاد دیدنی نشان می‌دادند. اما با مقداری دقت، اشکار شد برخی از این نمودارها مشکل بزرگی دارند که علتمی‌شود مصرف‌کنندگان فهمیدن درستی از پیشرفت GPT-5 نداشته باشند.

بر پایه گزارش ورج، یکی از نمودارهای نمایش داده شده مربوط به برسی «فریب» مدل‌ها بوده که مقیاس‌ آن به‌طور شگفت‌و‌غریبی نامرتب بوده است. برای مثال، در قسمت «فریب در کدنویسی»، نمودار روی صحنه نشان می‌داد که GPT-5 در حالت «با تفکر» نرخ فریب ۵۰ درصدی دارد. این عدد با نرخ ۴۷.۴ درصدی مدل کوچک‌تر o3 قیاس شده می بود، اما ستون مربوط به o3 به شکل غیرمنطقی بلندتر ترسیم شده است.

مسئله دلنشین دیگر این که در وبلاگ رسمی OpenAI رقم های متفاوت و درست‌تری وجود دارد و در آن نرخ فریب GPT-5 برابر با ۱۶.۵ درصد ذکر شده است.

مشکل بزرگ نمودارهای مربوط به GPT-5

همانطور که در عکس زیر قابل مشاهده است، امتیازات o3 و GPT-4o در بنچمارک SWE-bench Verified اعداد متغیری را مشخص می کند اما اندازه ستون آنها یکسان ترسیم شده است. این چنین GPT-‌۵ با وجود اختلاف ۵ امتیازی نسبت به o3 ستون زیاد بلندتری دارد.

این اشتباهات به‌قدری آشکار بوده و با انتقاد کاربران در شبکه‌های اجتماعی همراه می بود که «سم آلتمن، مدیرعامل OpenAI، آن را «نادرست بزرگ نموداری» نامید و او گفت نسخه صحیح در وب‌سایت شرکت انتشار شده است.

یکی از اعضای تیم بازاریابی OpenAI هم عذرخواهی کرده و در پست خود نوشت:

«نمودار را در وبلاگ اصلاح کردیم، دوستان. بابت این خطای ناخواسته عذرخواهی می‌کنیم.»

OpenAI تا بحال به خواست رسانه‌ها برای اظهار نظر زیاد تر جواب نداده است. اشکار نیست این نمودارها با پشتیبانی GPT-5 تهیه شده‌اند یا خیر، اما این چنین خطایی در روز رونمایی بزرگ، آن هم وقتی که شرکت روی «پیشرفت دیدنی در افت خطاها و توهمات» مدل تازه اصرار داشت، چندان خوشایند به نظر نمی‌رسد.