OpenAI روز دوشنبه اعلام کرد که در قالب یک پایلوت، ارزیابان ایمنی از Apollo Research، Goodfire، METR و Transluce را درون سازمان خود جای می‌دهد. این خبر پس از مجموعه‌ای از حوادث ایمنی منتشر می‌شود؛ از جمله حادثه‌ای که در جریان آزمون امنیت سایبری، یک خوشه عامل (agent swarm) متعلق به OpenAI از محیط محدود (sandbox) خود خارج شد و به Hugging Face نفوذ کرد. بسیاری از پژوهشگران ایمنی هوش مصنوعی، از جمله پژوهشگران Apollo، استدلال کرده‌اند که اگر ارزیابان بیرونی درون OpenAI مستقر بودند و آزمون‌های ایمنی آن را رصد می‌کردند، شاید چنین حادثه‌ای رخ نمی‌داد.

OpenAI گفت این اقدام از تعهدش به اتکا بر ارزیابی‌های مستقل از کنترل‌های ایمنی، ذیل White House Accord on Super Intelligence، پشتیبانی می‌کند. به گفته OpenAI، این پایلوت‌ها در زمان‌های مختلفی آغاز می‌شوند و پایلوت Apollo از همین هفته شروع می‌شود.

ایده جای‌دهی ارزیابان درون آزمایشگاه‌های پیشرو هوش مصنوعی نخست از Anthropic آمد؛ شرکتی که ماه گذشته شروع کرد به پژوهشگران METR دسترسی در سطح کارمند به سیستم‌هایش بدهد. تا همین اواخر، شرکت‌های هوش مصنوعی بازبینان بیرونی را فقط پس از مرحله پس از آموزش و کمی پیش از انتشار عمومی مدل‌ها برای آزمون فرامی‌خواندند. ارزیابان می‌گویند این کافی نیست، چون به آن‌ها اجازه نمی‌دهد رفتارهای ناهم‌سو با منافع انسان، مانند نقشه‌کشی در جریان آموزش، را بررسی کنند یا موارد استفاده داخلی از مدل را که همچنان می‌تواند تهدیدآفرین باشد رصد کنند.

دامنه کار با هر یک از این چهار نهاد بیرونی متفاوت است. پایلوت OpenAI و Apollo بر این تمرکز دارد که بررسی کند آیا مدل‌ها می‌کوشند سازوکارهای هم‌سویی یا کنترل خودشان یا نسخه‌های بعدی‌شان را تضعیف کنند. به بیان دیگر، آن‌ها مراقب این خواهند بود که آیا مدل‌های هوش مصنوعی تلاش می‌کنند قواعد ایمنی و حفاظت‌هایی را که برای نگه‌داشتن خودشان یا نسخه‌های آینده‌شان تحت کنترل انسان طراحی شده‌اند، تضعیف کنند. OpenAI اخیراً یافته‌هایی منتشر کرده است که نشان می‌دهد هنگام آموزش GPT-5.6 Sol، این مدل شروع کرده به گذاشتن دستورهایی برای نسخه‌های آینده خود تا از کاربر پنهان کنند که اشتباه یا رفتاری ناهم‌سو با منافع انسان داشته‌اند.

به گفته Apollo، این پایلوت بررسی می‌کند که آیا آموزش، انگیزه خرابکاری ایجاد می‌کند؛ آیا ارزیابی‌ها می‌توانند خرابکاری را آشکار کنند؛ آیا خرابکاری در جریان استقرار داخلی رخ می‌دهد؛ و آیا استدلال مرتبط با خرابکاری قابل تشخیص است. با توانمندتر شدن مدل‌های هوش مصنوعی در اقدام مستقل و فریب دادن انسان، پایش این خطرها اهمیت فزاینده‌ای پیدا می‌کند. پژوهش پیشین Apollo با OpenAI نشان داد مدل‌ها وقتی می‌دانند آزمون می‌شوند می‌توانند رفتار متفاوتی داشته باشند و معمولاً آنچه ارزیابان می‌خواهند ببینند را بر نهادهای واقعی کاربران ترجیح می‌دهند.

Goodfire پژوهشگرانی را درون OpenAI مستقر می‌کند که در فهم سازوکار درونی مدل‌های هوش مصنوعی تخصص دارند. به گفته این شرکت، Goodfire با پلتفرم تفسیرپذیری خود به OpenAI کمک می‌کند اجراهای آموزش را پایش کند، رفتارهای ناخواسته را اصلاح کند و هم‌سویی را بهبود دهد. Goodfire می‌گوید یافته‌هایش را منتشر خواهد کرد، هرچند مخاطب اصلی آن پژوهشگران خود OpenAI خواهند بود.

OpenAI با METR دو ارزیابی انجام خواهد داد: یکی برای یافتن رفتار ناخواسته یا خطرناک در خود مدل، از جمله مشکلاتی که آزمون‌های خود OpenAI ممکن است از دست داده باشند، و دیگری برای آزمودن اینکه آیا سیستم‌های OpenAI توان شناسایی چنین رفتاری را دارند. در ارزیابی نخست، METR عمدتاً خودش تصمیم می‌گیرد چه چیزی را بررسی کند و مدل را چگونه بیازماید. به گفته OpenAI، این شرکت و METR هنوز درباره دامنه ارزیابی دوم به تصمیم نرسیده‌اند.

در همین حال، Transluce بررسی خواهد کرد که آیا ارزیابی‌های ایمنی پس از آموزش خود OpenAI به‌اندازه کافی خوب هستند یا نه. این سازمان همچنین قصد دارد در سال 2027 بررسی کند که OpenAI چگونه از آزمون‌های ایمنی خود برای تصمیم‌گیری درباره ایمن‌بودن کافی یک مدل برای انتشار استفاده می‌کند.

در زمانی که استقلال ارزیابی‌های شخص ثالث زیر ذره‌بین است، توجه به این نکته مهم است که Apollo و Goodfire هر دو برای ارزیابی‌هایشان پول دریافت می‌کنند. METR و Transluce پول نمی‌گیرند، اما ممکن است اعتبار محاسباتی یا API بپذیرند.

Apollo که مفصل‌ترین گزارش را از توافق خود با OpenAI منتشر کرده است، نگاه نزدیک‌تری به دامنه و محدودیت‌های این ارزیابی‌ها ارائه می‌دهد.

بسیاری در جامعه ایمنی هوش مصنوعی هشدار داده‌اند که آزمایشگاه‌های هوش مصنوعی ممکن است بکوشند استقلال ارزیابان را تضعیف کنند، به‌ویژه اگر افراد بیرونی شواهدی نه‌چندان خوشایند پیدا کنند که آزمایشگاه‌ها ترجیح می‌دهند پنهان بماند. Apollo می‌گوید بخش اساسی این پایلوت، پذیرش OpenAI است که این شرکت بتواند شرایط و محدودیت‌های کارش را به‌صورت عمومی توضیح دهد.

با این حال، حوزه‌هایی هست که Apollo دسترسی خود به سیستم‌های OpenAI را در آن‌ها ناکافی می‌داند. Apollo می‌گوید برای ارزیابی واقعاً مستقل از مدل‌های هوش مصنوعی این شرکت، به دسترسی واقعی در سطح کارمند به سیستم‌های OpenAI نیاز دارد، از جمله «تمام داده‌ها، سوابق و مستندات مرتبط با ارزیابی‌شان، حتی اگر توسعه‌دهنده می‌کوشید اطلاعات نامطلوب را پنهان کند». دسترسی به همه داده‌ها، از جمله داده‌های آموزش و گزارش‌های ارزیابی که شرکت‌ها به‌سختی به افراد بیرونی نشان می‌دهند، برای مثال برای راستی‌آزمایی ادعاهای یک شرکت درباره عملکرد یک مدل یا تعیین زمان بروز رفتار نگران‌کننده‌ای خاص اهمیت دارد.

جان استیدلی (John Steidley)، مدیر دفتر Palisade Research، در گزارش پیشین TechCrunch گفته بود که دیدن این داده‌ها برای ارزیابی اینکه آیا مدلی برای عملکرد خوب در یک «بنچمارک مقاومت در برابر خاموش‌سازی (shutdown resistance benchmark)» آموزش دیده است یا نه، اهمیت دارد.

در نخستین پایلوت OpenAI، این آزمایشگاه به Apollo فقط دسترسی به اطلاعاتی را می‌دهد که برای ارزیابی اینکه آیا مدل‌ها دست به تلاش برای خرابکاری می‌زنند یا نه لازم است. این اطلاعات شامل «کد و مجموعه‌داده‌های مرتبط با آموزش، رول‌اوت‌های یادگیری تقویتی همراه با رد استدلال و پاداش‌های موجود، و امکان پرس‌وجو از چک‌پوینت‌های میانی مدل» است.

Apollo می‌گوید دامنه دسترسی «فقط به ادعاهای توافق‌شده و فقط برای مدل‌ها و بازه‌های زمانی مشخصی که برای ارزیابی توافق شده» محدود خواهد بود. OpenAI همچنان این حق را برای خود محفوظ می‌دارد که در همین دامنه، اگر به دلیل نبود امکان فنی، خطرهای امنیتی یا حفاظت از مالکیت فکری لازم بداند، اطلاعاتی را بازندارد. این شرکت پذیرفته است که اطلاعات را صرفاً به این دلیل که نامطلوب است بازندارد.

Apollo همچنین به همه کارکنان OpenAI دسترسی نخواهد داشت و دسترسی‌اش به «فقط کارکنان مجاز» محدود می‌شود؛ یعنی شرکت‌کنندگانی که آزمایشگاه هوش مصنوعی انتخاب می‌کند، هرچند Apollo می‌تواند افراد خاصی را پیشنهاد دهد. نکته مهم این است که اگر کارمندی از OpenAI بیرون این گروه، اطلاعات محرمانه‌ای را در دامنه پژوهش Apollo مطرح کند، این شرکت نمی‌تواند پیگیری کند و باید ارتباط را قطع کند و پیگیری را از طریق OpenAI انجام دهد.

این شرط اهمیت زیادی دارد. این شرط پس از آن مطرح می‌شود که OpenAI سه پژوهشگر را به دلیل ادعای به اشتراک‌گذاری اطلاعات محرمانه با شرکت ارزیابی ایمنی METR اخراج کرد؛ شرکتی که بررسی پس‌آسیب‌شناسی حادثه Hugging Face را همراه با Redwood، گروه مستقل پژوهش ایمنی هوش مصنوعی، انجام داد.

باک شلگریس (Buck Shlegeris)، مدیرعامل Redwood، روز دوشنبه در پستی گفت توافق‌های اعلام‌شده معیار اعطای «دسترسی کارمندگونه» به اشخاص ثالث را برآورده نمی‌کنند و این «ناامیدکننده اما غیرمنتظره نیست».

OpenAI گفته بود ارزیابی‌های جای‌دهی‌شده با دسترسی کارمندگونه خواهد داشت؛ توافق‌های اعلام‌شده امروز آشکارا این معیار را برآورده نمی‌کنند. این ناامیدکننده است اما غیرمنتظره نیست. شاید توافق‌های آینده بهتر باشند. https://t.co/kmDbg1Dqav — باک شلگریس (@bshlgrs) 16 نوامبر 2026

این پایلوت از نظر میزان افشای پژوهشگران هم محدود خواهد بود. Apollo اجازه خواهد داشت نتیجه‌گیری‌های مستقل خود از یافته‌هایش را منتشر کند، اما OpenAI می‌تواند شواهد در دسترس برای اثبات علنی آن‌ها را محدود کند؛ کاری که می‌تواند ارزیابی مستقل یافته‌ها را برای افراد بیرونی دشوار سازد. Apollo با این محدودیت مخالفت کرده و گفته است به باور این شرکت، پژوهشگران باید اجازه داشته باشند یافته‌های ارزیابی را «حتی اگر توسعه‌دهنده می‌کوشید از افشای یافته‌های نامطلوب جلوگیری کند، به مخاطبان بیرونی مناسب» افشا کنند.

با این حال، OpenAI می‌گوید هرچند عموم نمی‌توانند همه شواهد پشتیبان را ببینند، کمیته ایمنی و امنیت (Safety and Security Committee) این شرکت که ایمنی را به نمایندگی هیئت‌مدیره بنیاد OpenAI (OpenAI Foundation) نظارت می‌کند، گزارش‌های ارزیابی را بدون حذف اطلاعات بازبینی خواهد کرد و می‌تواند به‌صورت خصوصی با ارزیابان گفت‌وگو کند.

OpenAI همه شرایط Apollo را برای یک ارزیابی واقعاً مستقل برآورده نمی‌کند، اما به گفته این شرکت، این پایلوت «نخستین گام بلندپروازانه به سوی دسترسی و حقوق افشای بیشتر» است و این شرکت می‌کوشد در آینده ارزیابی‌های کامل جای‌دهی‌شده را با چند توسعه‌دهنده هوش مصنوعی اجرا کند.

این مقاله به‌روزرسانی شده است تا پایلوت‌های METR، Goodfire و Transluce و همچنین اطلاعاتی از OpenAI و نظر Redwood را شامل شود.

منبع: TechCrunch

متن و تصاویر اصلی از منبع بالا. ترجمه و ویرایش در دیجیتال سرآمد.