بيربليكسي AI تطرح BrowseSafe كمصدر مفتوح لمكافحة هجمات حقن الأوامر في تصفح الذكاء الاصطناعي

بإيجاز

قامت شركة Perplexity بإتاحة أداة BrowseSafe كمصدر مفتوح، وهي أداة أمنية مصممة لحماية مساعدي المتصفحات المدعومين بالذكاء الاصطناعي من التعليمات الضارة المخفية في صفحات الويب.

Perplexity AI Open-Sources BrowseSafe To Combat Prompt Injection In AI Browsing

أعلنت شركة Perplexity AI، الشركة المطورة لمحرك البحث المدعوم بالذكاء الاصطناعي Perplexity، عن إصدار BrowseSafe، وهو معيار بحث مفتوح ونموذج لاكتشاف المحتوى صُمم لتعزيز أمان المستخدم مع بدء وكلاء الذكاء الاصطناعي العمل مباشرة داخل بيئة المتصفح.

مع انتقال المساعدين المدعومين بالذكاء الاصطناعي إلى ما هو أبعد من واجهات البحث التقليدية وبدئهم في تنفيذ المهام داخل متصفحات الويب، من المتوقع أن يتغير هيكل الإنترنت من صفحات ثابتة إلى تفاعلات يقودها الوكلاء. في هذا النموذج، يصبح المتصفح مساحة عمل يمكن للمساعد اتخاذ إجراءات فيها بدلاً من تقديم الإجابات فقط، مما يخلق حاجة إلى أنظمة تضمن أن يتصرف المساعد دائماً بما يخدم مصلحة المستخدم.

يُعد BrowseSafe نموذج اكتشاف متخصص تم تدريبه لتقييم سؤال محوري واحد: هل يحتوي كود HTML الخاص بصفحة الويب على تعليمات ضارة تهدف إلى التلاعب بوكيل الذكاء الاصطناعي؟ في حين أن النماذج العامة والكبيرة يمكنها تقييم هذه المخاطر بدقة، إلا أنها غالباً ما تستهلك موارد كبيرة ولا تناسب الفحص المستمر في الوقت الفعلي. تم تصميم BrowseSafe لتحليل صفحات الويب الكاملة بسرعة دون التأثير على أداء المتصفح. وبجانب النموذج، تطلق الشركة أيضاً BrowseSafe-Bench، وهي حزمة اختبارات تهدف إلى دعم التقييم المستمر وتحسين آليات الدفاع.

كما أن صعود التصفح المعتمد على الذكاء الاصطناعي يجلب تحديات جديدة في مجال الأمن السيبراني تتطلب استراتيجيات حماية محدثة. كانت الشركة قد شرحت سابقاً كيف يطبق نظام Comet لديها طبقات متعددة من الدفاع للحفاظ على توافق الوكلاء مع نية المستخدم، حتى في الحالات التي تحاول فيها المواقع تغيير سلوك الوكيل من خلال حقن التعليمات. يركز الشرح الأخير على كيفية تعريف هذه التهديدات واختبارها باستخدام سيناريوهات هجوم واقعية ودمجها في نماذج مدربة على تحديد التعليمات الضارة وحجبها بسرعة كافية لضمان السلامة داخل المتصفح.

يشير مصطلح “حقن التعليمات” إلى لغة خبيثة يتم إدخالها في النص الذي يعالجه نظام الذكاء الاصطناعي بهدف إعادة توجيه سلوك النظام. في بيئة المتصفح، يقرأ الوكلاء صفحات كاملة، مما يسمح بمثل هذه الهجمات أن تُدرج في مناطق مثل التعليقات أو القوالب أو التذييلات الموسعة. يمكن أن تؤثر هذه التعليمات المخفية على تصرفات الوكيل إذا لم يتم اكتشافها بشكل صحيح. وقد تُكتب أيضاً بصيغ خفية أو متعددة اللغات، أو تُخفى في عناصر HTML غير مرئية فعلياً على الصفحة — مثل سمات البيانات أو حقول النماذج غير المعروضة — والتي لا يراها المستخدمون ولكن أنظمة الذكاء الاصطناعي تفسرها.

BrowseSafe-Bench: تعزيز أمن الوكلاء في بيئات الويب الواقعية

من أجل تحليل تهديدات حقن التعليمات في بيئة مشابهة للتصفح الواقعي، طورت الشركة BrowseSafe، وهو نموذج اكتشاف تم تدريبه وإتاحته كمصدر مفتوح، إلى جانب BrowseSafe-Bench، وهو معيار عام يحتوي على 14,719 مثالاً مستوحى من صفحات الويب في الإنتاج. تتضمن مجموعة البيانات هياكل HTML معقدة، ومحتوى بجودة متفاوتة، ونطاقاً واسعاً من العينات الخبيثة والسليمة التي تختلف حسب نية المهاجم، ومكان التعليمات المحقونة في الصفحة، وأسلوب اللغة المستخدم. تغطي المجموعة 11 فئة هجوم، وتسع طرق للحقن تتراوح بين العناصر المخفية وكتل النص الظاهرة، وثلاثة أنماط لغوية من الأوامر المباشرة إلى العبارات غير المباشرة الأكثر خفية.

وفقاً لنموذج التهديد المحدد، يعمل المساعد في بيئة موثوقة بينما يُعامل كل محتوى الويب الخارجي كغير موثوق. قد يتحكم الفاعلون الخبثاء في مواقع كاملة أو يدرجون نصوصاً ضارة — مثل الأوصاف أو التعليقات أو المنشورات — في صفحات شرعية يصل إليها الوكيل. لتقليل هذه المخاطر، يتم وضع علامة على أي أداة قادرة على إرجاع بيانات غير موثوقة، بما في ذلك صفحات الويب أو رسائل البريد الإلكتروني أو الملفات، ويُعالج ناتجها الخام عن طريق BrowseSafe قبل أن يتمكن الوكيل من تفسيره أو التصرف بناءً عليه. يعمل BrowseSafe كعنصر من استراتيجية أمان أوسع تشمل فحص المحتوى الوارد، وتقييد أذونات الأدوات افتراضياً، وطلب موافقة المستخدم لبعض العمليات الحساسة، بالإضافة إلى الحمايات القياسية للمتصفح. تهدف هذه المنهجية متعددة الطبقات إلى دعم استخدام مساعدين متقدمين قائمين على المتصفح دون التضحية بالأمان.

تسلط نتائج الاختبار على BrowseSafe-Bench الضوء على عدة اتجاهات. تعتبر أشكال الهجوم المباشر، مثل محاولات استخراج التعليمات النظامية أو إعادة توجيه المعلومات عبر مسارات URL، من أبسط الحالات التي يمكن للنماذج اكتشافها. أما الهجمات متعددة اللغات، إلى جانب النسخ المكتوبة بصياغة غير مباشرة أو افتراضية، فهي غالباً أكثر صعوبة لأنها تتجنب الإشارات اللفظية التي تعتمد عليها العديد من أنظمة الاكتشاف. كما يلعب موقع النص المحقون دوراً أيضاً. تُكتشف الحالات المخفية في تعليقات HTML بفعالية نسبية، في حين أن الحالات الموضوعة في أقسام مرئية مثل التذييلات أو خلايا الجداول أو الفقرات تكون أكثر تحدياً، مما يكشف عن ضعف هيكلي في التعامل مع الحقن غير المخفي. يمكن أن يؤدي التدريب المحسن مع أمثلة مصممة جيداً إلى رفع أداء الاكتشاف في هذه الحالات.

يتوفر كل من BrowseSafe وBrowseSafe-Bench كمصادر مفتوحة. يمكن للمطورين العاملين على الوكلاء المستقلين استخدامها لتعزيز الدفاعات ضد حقن التعليمات دون الحاجة لبناء أنظمة حماية مستقلة. يمكن تشغيل نموذج الاكتشاف محلياً ووضع علامات على التعليمات الضارة قبل أن تصل إلى طبقة اتخاذ القرار الأساسية للوكيل، مع تحسين الأداء لفحص الصفحات الكاملة في الوقت الفعلي. وتوفر مجموعة سيناريوهات الهجوم الواقعية الكبيرة في BrowseSafe-Bench وسيلة لاختبار النماذج تحت ضغط الأنماط المعقدة من HTML التي غالباً ما تضعف النماذج اللغوية القياسية، بينما تساعد تقنيات تقسيم الصفحات والفحص المتوازي الوكلاء على معالجة الصفحات الكبيرة وغير الموثوقة بكفاءة دون تعريض المستخدمين لمخاطر متزايدة.

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
0/400
لا توجد تعليقات
  • تثبيت