أطلق مزود الخدمة السحابية كلاود فلير (Cloudflare) أداة جديدة مجانية تهدف إلى منع استخلاص الروبوتات للبيانات من مواقع الويب المستضافة عبر منصتها لاستخدامها في تدريب نماذج الذكاء الاصطناعي.
يسمح بعض موردي الذكاء الاصطناعي، مثل جوجل وآبل وOpenAI، لأصحاب مواقع الويب بحظر الروبوتات التي يستخدمونها لاستخلاص البيانات وتدريب النماذج عن طريق تعديل ملف robots.txt، وهو الملف النصي الذي يخبر الروبوتات بالصفحات التي يمكنها الوصول إليها عبر موقع الويب. ولكن، كما أشارت كلاود فلير في تدوينة تعلن فيها عن أداة مكافحة الروبوتات، لا تحترم جميع روبوتات استخلاص البيانات هذا الأمر.
كتبت الشركة في تدوينة: "لا يرغب العملاء في زيارة روبوتات الذكاء الاصطناعي لمواقعهم الإلكترونية، وخاصة تلك التي لا تلتزم بما هو موجود ضمن robots.txt، ونخشى أن تتكيف بعض شركات الذكاء الاصطناعي التي تنوي التحايل على القواعد للوصول إلى المحتوى باستمرار للتهرب من اكتشاف الروبوتات".
في محاولة لمعالجة هذه المشكلة، حللت كلاود فلير حركة مرور روبوتات الذكاء الاصطناعي لضبط نماذج الكشف التلقائي عن الروبوتات. تأخذ النماذج في الحسبان إذا كان روبوت الذكاء الاصطناعي يحاول تجنب الكشف عن طريق محاكاة سلوك شخص ما يستخدم متصفح الويب، من بين عوامل أخرى. وكتبت كلاود فلير: "عندما تحاول الجهات الفاعلة الزحف إلى مواقع الويب على نطاق واسع، فإنها تستخدم عمومًا الأدوات والأطر التي يمكننا تحديدها. استنادًا إلى هذه الإشارات، فإن نماذجنا قادرة على تحديد حركة المرور من روبوتات الذكاء الاصطناعي المخادعة بصفتها روبوتات".
أعدت كلاود فلير نموذجًا للمضيفين للإبلاغ عن روبوتات الذكاء الاصطناعي المشتبه بها، وتقول إنها تستمر في إدراج روبوتات الذكاء الاصطناعي في القائمة السوداء يدويًا بمرور الوقت. برزت مشكلة روبوتات الذكاء الاصطناعي بعد أن أدى ازدهار الذكاء الاصطناعي إلى زيادة طلب بيانات تدريب النموذج. اختارت مواقع عديدة تشعر بالقلق من تدريب نماذج الذكاء الاصطناعي على محتواها دون تنبيه أو تعويض حظر روبوتات الذكاء الاصطناعي.
يبدو أن بعض موردي الذكاء الاصطناعي يتجاهلون قواعد استبعاد الروبوتات للحصول على ميزة تنافسية في سباق الذكاء الاصطناعي. اتهم محرك بحث الذكاء الاصطناعي Perplexity سابقًا بانتحال هوية زوار شرعيين لاستخلاص محتوى من مواقع الويب، ويقال إن OpenAI وأنثروبيك تجاهلتا في بعض الأحيان قواعد ملف robots.txt. في رسالة إلى الناشرين في الشهر الماضي، قالت الشركة الناشئة في مجال ترخيص المحتوى TollBit إنها ترى أن عملاء الذكاء الاصطناعي يتجاهلون معيار ملف robots.txt.
تستطيع أداة كلاود فلير أن تساعد إذا أثبتت دقتها في اكتشاف روبوتات الذكاء الاصطناعي، مع أنها لن تحل المشكلة المعقدة المتمثلة في مخاطرة الناشرين بالتضحية بحركة الإحالة من أدوات الذكاء الاصطناعي، مثل Google AI Overviews، التي تستبعد المواقع من التضمين إذا حظرت روبوتات ذكاء اصطناعي محددة.
