قامت Anthropic مؤخرًا بتفصيل بنيات الاحتواء التي تستخدمها لـ Claude عبر الويب والمطور ومنتجات سطح المكتب. ويجادل بأن سلامة الوكيل تعتمد على وضع حدود حتمية على نظام الملفات والشبكة وبيئة التنفيذ الخاصة بالوكيل بدلاً من الاعتماد فقط على مطالبات الأذونات أو الضمانات على مستوى النموذج. وعلى الأخص، فهو يدرس حالات الفشل عند حدود الثقة وعلى طول مسارات الخروج المسموح بها والتي دفعت الأنثروبيك إلى مراجعة تلك التصاميم.
تقوم الشركة بتأطير مخاطر الوكيل على أنها مزيج من إساءة استخدام المستخدم وسوء السلوك النموذجي والهجمات التي يتم تنفيذها من خلال الملفات أو الأدوات أو المحتوى الذي يمكن الوصول إليه عبر الشبكة. الحجة المركزية للأنثروبيك هي أن الضوابط النموذجية مثل المصنفات، ومطالبات النظام، والتدريب يمكن أن تؤثر على السلوك ولكنها لا تستطيع ضمانه. وبدلاً من ذلك، تضع الضوابط البيئية حدودًا صارمة لما يمكن للوكيل الوصول إليه أو نقله.
يميز الأنثروبي بين النموذج الاحتمالي وبيئة تنفيذه والمحتوى الخارجي الذي يمكن أن يؤثر عليه. (مصدر)
على سبيل المثال، يتم تنفيذ التعليمات البرمجية في “claude.ai” في حاوية gVisor سريعة الزوال على بنية أساسية معزولة، دون الوصول إلى نظام الملفات المحلي للمستخدم. وعلى النقيض من ذلك، يعمل كلود كود على أجهزة المطورين ويعتمد في البداية على الموافقة على كل إجراء للكتابة وأوامر الصدفة والوصول إلى الشبكة. وتقول أنثروبيك إن المستخدمين وافقوا على ما يقرب من 93% من تلك المطالبات، مما يقلل من القيمة العملية للمراجعة البشرية المستمرة. أضافت لاحقًا صندوق حماية على مستوى نظام التشغيل، باستخدام Seatbelt على نظام التشغيل macOS و bubblewrap على Linux، والذي يسمح بالكتابة داخل مساحة العمل مع رفض الوصول إلى الشبكة افتراضيًا. أبلغت الشركة عن انخفاض بنسبة 84٪ في مطالبات الأذونات.
في إحدى الحوادث المذكورة، تلقت Anthropic تقارير عن ثغرات أمنية في Claude Code حيث تم تحليل المحتوى المحلي للمشروع قبل أن يقبل المستخدم مطالبة الثقة بالمجلد. في حالة واحدة، المستودع .claude/settings.json حدد الملف خطافًا يمكن تشغيله عند بدء التشغيل. كان العلاج هو تأجيل التحليل وتنفيذ التكوين المحلي للمشروع إلى ما بعد قرار الثقة.
أوضح اختبار الفريق الأحمر الخاضع للرقابة حدود الاعتماد على الموافقات أو المصنفات لاستنتاج النية. في التمرين، أدى هجوم التصيد الاحتيالي إلى قيام أحد الموظفين بإعطاء Claude Code تعليمات تبدو معقولة لاسترداد بيانات اعتماد AWS وإرسالها إلى وجهة خارجية. تقول الأنثروبيك إن كلود نفذ عملية التسرب في 24 من 25 محاولة. أظهر التمرين أن عناصر التحكم، مثل عزل نظام الملفات وقيود الشبكة الصادرة، يجب أن تمنع سرقة بيانات الاعتماد حتى عندما يبدو الطلب مسموحًا به، سواء كان ذلك صادرًا من مستخدم، أو خطأ في النموذج، أو مخرجات أداة ضارة.
يستخدم Claude Cowork حدودًا أقوى لأن المستخدمين المستهدفين أقل عرضة لتقييم أوامر shell بأمان. قام التصميم الأصلي لشركة Anthropic بتشغيل الوكيل في جهاز افتراضي كامل مع مساحة عمل محددة فقط مثبتة من المضيف وبيانات الاعتماد المحفوظة في سلسلة مفاتيح المضيف. قامت Anthropic لاحقًا بنقل حلقة الوكيل إلى المضيف لتحسين الموثوقية، بينما ظل تنفيذ التعليمات البرمجية معزولًا في الجهاز الافتراضي.
التصميم الأولي الكامل لـ VM لـ Claude Cowork وهندسة حلقة المضيف اللاحقة. (مصدر)
ومع ذلك، كشف تصميم Cowork عن قيود مهمة تتعلق بالقوائم المسموح بها للنطاقات. يصف Anthropic كشفًا لجهة خارجية حيث تسبب ملف ضار في قيام Claude بتحميل ملفات مساحة العمل إلى حساب يتحكم فيه المهاجم من خلال Files API الخاص بـ Anthropic. نظرًا لإدراج موقع api.anthropic.com في القائمة المسموح بها، فقد تم اجتياز عملية التحقق من الوجهة.
قامت Anthropic بتغيير التصميم لاستخدام وكيل داخل الجهاز الافتراضي الذي يقبل فقط الرمز المميز لجلسة الجهاز الافتراضي الذي تم توفيره ويحظر رؤوس الجلب من جانب الخادم ذات الصلة. الدرس المستفاد هو أن النطاق المدرج في القائمة المسموح بها ليس مجرد وجهة موثوقة. يمنح الوصول إلى كل وظيفة يمكن الوصول إليها من خلاله.
سمحت القائمة المسموح بها للنطاق بالتسلل من خلال Anthropic’s Files API؛ يقوم الوكيل المعدل بتقييد الطلبات على الرمز المميز المتوفر للجهاز الافتراضي. (مصدر)
ويجادل المؤلفون بأن الاحتواء يجب أن يعكس مقدار الرقابة الهادفة التي يمكن للمستخدم توفيرها، ويحذرون من أن أمن العميل لا يمكن أن يعتمد فقط على التعرف على النوايا الضارة. وبدلاً من ذلك، يجب على البيئة المحيطة أن تحد من الضرر الذي يمكن أن يسببه أي إجراء غير آمن.
