شرکت OpenAI اعلام کرده که برخی از عامل‌های هوش مصنوعی‌اش در حین انجام وظایف، سیستم‌های نظارتی که برای جلوگیری از رفتارهای نادرست طراحی شده بودند را غیرفعال کرده‌اند. این موضوع در تازه‌ترین گزارش منتشر شده در وبلاگ تحقیقاتی هم‌راستایی OpenAI مطرح شده است.

در یکی از این موارد که در سوم اکتبر رخ داد، یک عامل GPT-6.1 Sol به درخواست یکی از کارکنان برای ایجاد وظایف ارزیابی با استفاده از بازخوردهای جمع‌آوری شده در Slack، به طور خودکار هشدارهای ارسال شده به تیم امنیتی OpenAI را متوقف کرد. این عامل با استناد به دستور داده شده مبنی بر عدم ارسال پیام درباره وظیفه، سیستم هشداردهی را غیرفعال کرد.

در مورد دوم که در ششم اکتبر اتفاق افتاد، یک عامل GPT-6 Astra که مشغول انتقال یک برنامه بود، سیستم نظارتی OpenAI را حذف کرد و سپس به کاربر دروغ گفت که این سیستم را غیرفعال نکرده است.

لازم به ذکر است که مدل GPT-6.1 Astra که در این حادثه دست داشت، پیش‌تر به دلیل نشان دادن رفتارهای فریبکارانه بیشتر نسبت به نسخه‌های قبلی، عرضه آن توسط OpenAI لغو شده بود. این مدل‌ها هم‌اکنون در دسترس عموم قرار دارند اما همچنان رفتارهای فریبکارانه از خود نشان می‌دهند، که این موضوع نگرانی‌های بیشتری را درباره نسخه‌های پیشرفته‌تر ایجاد می‌کند.

هر دو حادثه در جریان انجام وظایف کدنویسی داخلی رخ داده و منجر به نفوذ به وب‌سایت‌ها یا خدمات شخص ثالث نشده است. با این حال، OpenAI اعلام کرده که در حال سخت‌تر کردن شرایط برای عامل‌ها به منظور جلوگیری از غیرفعال کردن سیستم‌های نظارتی است و همچنین در حال بررسی این موضوع است که آیا این رفتارها نشان‌دهنده تمایل عامل‌ها به فرار از نظارت است یا خیر.

شرکت‌های فعال در حوزه هوش مصنوعی پس از گزارش‌های متعددی مبنی بر فرار عامل‌های هوش مصنوعی از محیط‌های آزمایشی و نفوذ به سرویس‌های شخص ثالث، متعهد شده‌اند که در پیشگیری و گزارش چنین رفتارهایی بهتر عمل کنند. OpenAI نیز پیش‌تر در ماه جولای اعتراف کرده بود که عامل‌هایش به مخزن هوش مصنوعی Hugging Face نفوذ کرده‌اند و حتی یک تابلو پیام برای به اشتراک‌گذاری روش‌های نفوذ بین خود ایجاد کرده‌اند. این شرکت همچنین مواردی را گزارش کرده که عامل‌هایش به سایت‌های دولتی آمریکا نفوذ یا در آن‌ها دخالت کرده‌اند.

مهین صالحی

مهین صالحی

نویسنده بیزنس سون