OpenAI امروز در بحبوحهٔ نگرانیهای فزاینده دربارهٔ ایمنی استفاده از ابزارهای هوش مصنوعی، ابزارهایی تازه برای مقابله با محتوای سوءاستفادهٔ جنسی از کودکان (CSAM) معرفی کرد. این قابلیتها شامل طبقهبند تصویر تازهای برای شناسایی CSAM، هشدارها و مسدودسازی موقت برای بازداشتن کاربران از تولید یا دسترسی به محتوایی که کودکان را جنسیشده نشان میدهد، راهنمای تازهای برای توسعهدهندگان و مجموعهای از ابزارها برای مجریان قانون است.
این شرکت از طبقهبند تصویر تازهای رونمایی کرد که میتواند تصاویر CSAM، از جمله تصاویر تولیدشده با هوش مصنوعی، را شناسایی کند. OpenAI دسترسی به این طبقهبند را از طریق API و بدون هزینه در اختیار شرکتهای منتخب قرار میدهد. این ابزار نشانههای بصری آزار را در تصاویری که پیشتر دیده نشدهاند جستوجو میکند و نمرهای به آنها میدهد که میتواند جهتنمای بازبینها در برخورد با CSAM باشد.
OpenAI گفت این طبقهبند را با National Center for Missing and Exploited Children (NCMEC) توسعه داده است و برای به اشتراک گذاشتن دسترسی به این ابزار با Tech Coalition و ROOST همکاری میکند. این شرکت هوش مصنوعی در آزمون اولیهٔ طبقهبند با شرکا دریافت که این ابزار ۴۸٪ تصاویر کمتری را علامت میزند، در حالی که همان تعداد تصویر آزارگر را پیدا میکند و بار کاری بازبینها را کاهش میدهد. علاوه بر این، احتمال آزارگر بودن تصاویری که این طبقهبند علامت میزند دو برابر است.
همچنین این شرکت صفحههای هشدار تازهای به ChatGPT اضافه میکند تا کاربران را از دسترسی به محتوایی که کودکان را جنسیشده نشان میدهد بازدارد. ChatGPT به کاربرانی که چنین درخواستهایی میدهند هشدار نشان میدهد، آنها را به حمایت تخصصی برای توقف رفتار آسیبزا راهنمایی میکند و بهعنوان هشدار، حساب کاربر را ۲۴ ساعت تعلیق میکند. این اپلیکیشن از پیش محتوای CSAM و درخواستهای مرتبط با آن را مسدود میکند. OpenAI گفت تکرار تخلف میتواند به حذف دائمی حساب منجر شود.
OpenAI اشاره کرد که پیام و راهنماهای مربوط به این رفتار را با همکاری سازمانها و پژوهشگرانی تدوین کرده است، از جمله Protect Children، بنیاد Lucy Faithfull (Lucy Faithfull Foundation) و جوئل اسکنلن (Joel Scanlan) در دانشگاه تاسمانیا (University of Tasmania) که آزمون پیامهای بازدارنده را بهطور مستقل ارزیابی کرد.
این شرکت همچنین راهنمایی برای توسعهدهندگانی منتشر میکند که از ابزارهای OpenAI استفاده میکنند تا محتوای CSAM را پیشگیری کنند، شناسایی کنند و به کاربران در گزارش آن کمک کنند. OpenAI گفت در آزمون اولیه، این راهنما به شماری از توسعهدهندگان کمک کرده است ابزارهای ایمنی کودکان را به کار بگیرند و برای گزارش CSAM به NCMEC ثبتنام کنند. OpenAI همچنین مجریان قانونی را که با موضوع ایمنی کودکان سروکار دارند به قابلیتهای مبتنی بر هوش مصنوعی مجهز میکند؛ مانند افزونههای اختصاصی، ابزارهای تحقیق و تحلیل پیچیدهٔ دادهها که دسترسی به آنها را مدیران برنامه کنترل میکنند. این شرکت افزون بر این، به محققان آموزش میدهد و راهنمای میدانی دربارهٔ نحوهٔ استفاده از هوش مصنوعی در اختیارشان میگذارد.
OpenAI تاکنون با چندین شکایت روبهرو بوده است که فناوری این شرکت را عامل آسیب به کاربران، بهویژه کودکان، میدانند. سازمان غیرانتفاعی Common Sense Media که بر ایمنی تمرکز دارد، فناوری OpenAI را برای نوجوانان «ریسک غیرقابلقبول» خواند. از چتباتهای دیگر هوش مصنوعی، بهویژه Grok، برای ساختن تصاویر جنسیشدهٔ غیرتوافقی از جمله از کودکان استفاده شده است.
این استارتاپ هوش مصنوعی در ۱۲ ماه گذشته تغییراتی در فناوری خود اعمال کرده است؛ از جمله انتشار یک نقشهٔ راه ایمنی، بهروزرسانی راهنماهای محتوا برای ممنوع کردن محتوای نامناسب، بازتنظیم مدل خود برای جلوگیری از تولید محتوای آسیبزا و انتشار نسخهٔ ویژهای از ChatGPT برای نوجوانان.



