گوگل، OpenAI، Anthropic و مایکروسافت به توافقی جدید برای حمایت از یک دستورالعمل مشترک در فایل robots.txt دست یافتهاند که به ناشران وبسایتها اجازه میدهد تا ترجیحات خود را درباره استخراج محتوا برای آموزش مدلهای هوش مصنوعی تعیین کنند.
این دستورالعمل جدید که توسط کوین کلی، مسئول استانداردهای فنی Anthropic، در سازمان استانداردهای باز اینترنت (IETF) پیشنهاد شده است، به شرکتهای فعال در حوزه هوش مصنوعی امکان میدهد تا به جای شناسایی و تنظیم قوانین جداگانه برای هر خزنده وب، یک سیگنال مشترک را به رسمیت بشناسند و به آن احترام بگذارند.
ناشران وبسایتها باید در فایل robots.txt خود یک user-agent جدید مخصوص آموزش هوش مصنوعی تعریف کنند که به شکل زیر است:
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/
این تنظیمات باعث میشود خزندههایی که به طور خاص برای جمعآوری دادههای آموزش هوش مصنوعی طراحی شدهاند، از دسترسی به بخشهای مشخصی از سایت منع شوند. بخش “Allow” به مدیران سایت اجازه میدهد تا برای قسمتهای خاصی مانند کیتهای خبری، اجازه استخراج داده را بدهند.
این دستورالعمل به معنای جلوگیری کامل از خزیدن در سایت یا حذف محتوا از نتایج جستجوی گوگل نیست. به عنوان مثال، گوگل این دستور را به عنوان علامت توقف برای user-agent “Google-Extended” تفسیر میکند که برای جمعآوری دادههای آموزش مدلهای Gemini استفاده میشود.
نکته مهم دیگر این است که این دستورالعمل نمیتواند استخراج دادههایی که قبلاً انجام شده را لغو کند و تنها از استخراجهای آینده جلوگیری میکند.
در حال حاضر، Anthropic این دستورالعمل را به کار گرفته است، مایکروسافت اعلام کرده که از اول فوریه ۲۰۲۷ آن را اجرا خواهد کرد، گوگل نیز پشتیبانی خود را در اوایل ۲۰۲۷ آغاز میکند و OpenAI وعده داده که در ماههای آینده این سیگنال جدید را پیادهسازی کند.
