أبلغ ISD عن هذا الحساب، إلى جانب 49 حسابًا آخر، في يونيو بسبب انتهاك سياسات TikTok بشأن خطاب الكراهية، وتشجيع العنف ضد المجموعات المحمية، والترويج لأيديولوجيات الكراهية، والاحتفال بالمتطرفين العنيفين، وإنكار الهولوكوست. وفي جميع الحالات، لم تجد TikTok أي انتهاكات، وتم السماح لجميع الحسابات في البداية بالبقاء نشطة.
وبعد شهر، تم حظر 23 حسابًا بواسطة TikTok، مما يشير إلى أن المنصة تقوم على الأقل بإزالة بعض المحتوى والقنوات المخالفة بمرور الوقت. وقبل حذفها، كانت الحسابات الـ 23 المحظورة قد حصدت ما لا يقل عن 2 مليون مشاهدة.
أنشأ الباحثون أيضًا حسابات TikTok جديدة لفهم كيفية ترويج المحتوى النازي للمستخدمين الجدد من خلال خوارزمية TikTok القوية.
باستخدام حساب تم إنشاؤه في نهاية شهر مايو، شاهد الباحثون 10 مقاطع فيديو من شبكة المستخدمين المؤيدين للنازية، وقاموا أحيانًا بالنقر على أقسام التعليقات ولكنهم لم يصلوا إلى أي شكل من أشكال المشاركة الحقيقية مثل الإعجاب أو التعليق أو وضع إشارة مرجعية. كما اطلع الباحثون على 10 حسابات مؤيدة للنازية. عندما انتقل الباحثون بعد ذلك إلى خلاصة For You داخل التطبيق، استغرق الأمر ثلاثة مقاطع فيديو فقط حتى تقترح الخوارزمية مقطع فيديو يظهر جنديًا نازيًا من حقبة الحرب العالمية الثانية ومغطى بمخطط لمعدلات القتل في الولايات المتحدة، مع تقسيم الجناة حسب العرق. . وفي وقت لاحق، ظهر مقطع فيديو لخطاب هتلر المترجم بواسطة الذكاء الاصطناعي، ومغطى بملصق تجنيد لمجموعة قومية بيضاء.
وشهد حساب آخر أنشأه باحثو ISD المزيد من المحتوى المتطرف الذي يتم الترويج له في خلاصته الرئيسية، حيث يأتي 70 بالمائة من مقاطع الفيديو من نازيين محددين ذاتيًا أو تعرض دعاية نازية. وبعد أن تابع الحساب عددًا من الحسابات المؤيدة للنازية من أجل الوصول إلى المحتوى على القنوات المعينة على القطاع الخاص، قامت خوارزمية TikTok أيضًا بالترويج لحسابات نازية أخرى لمتابعتها. استخدمت جميع الحسابات العشرة الأولى التي أوصى بها TikTok لهذا الحساب الرموز النازية أو الكلمات الرئيسية في أسماء المستخدمين أو صور الملفات الشخصية الخاصة بهم، أو عرضت دعاية نازية في مقاطع الفيديو الخاصة بهم.
يقول آبي ريتشاردز، الباحث في المعلومات المضللة والمتخصص في تيك توك: “هذا ليس مفاجئًا بأي حال من الأحوال”. “هذه هي الأشياء التي وجدناها مرارًا وتكرارًا. لقد وجدتها بالتأكيد في بحثي.”
كتب ريتشاردز عن محتوى العنصريين البيض والمتشددين المتسارعين على المنصة في عام 2022، بما في ذلك قضية النازي الجديد بول ميلر، الذي ظهر في مقطع فيديو على TikTok، أثناء قضائه حكمًا بالسجن لمدة 41 شهرًا بتهم تتعلق بالأسلحة النارية، والذي حصد أكثر من 5 ملايين مشاهدة. مشاهدة و 700000 إعجاب خلال الأشهر الثلاثة التي كانت موجودة على المنصة قبل إزالتها.
قال ماركوس بوش، الباحث المقيم في جامعة هامبورغ والذي يراقب TikTok، لـ WIRED إن نتائج التقرير “لا تمثل مفاجأة كبيرة”، ولا يأمل في أن يكون هناك أي شيء يمكن أن يفعله TikTok لإصلاح المشكلة.
يقول بوش: “لست متأكدًا بالضبط من أين تكمن المشكلة”. “تقول TikTok أن لديها حوالي 40 ألف مشرف على المحتوى، ويجب أن يكون من السهل فهم مثل هذه الانتهاكات الواضحة للسياسة. ولكن بسبب الحجم الهائل [of content]وقدرة الجهات الفاعلة السيئة على التكيف بسرعة، أنا مقتنع بأن مشكلة التضليل برمتها لا يمكن حلها نهائيًا، لا مع الذكاء الاصطناعي ولا مع المزيد من المشرفين.
تقول TikTok إنها أكملت برنامجًا إرشاديًا مع Tech against Terrorism، وهي مجموعة تسعى إلى تعطيل نشاط الإرهابيين عبر الإنترنت وتساعد TikTok على تحديد التهديدات عبر الإنترنت.
وقال آدم هادلي، المدير التنفيذي لمنظمة التكنولوجيا ضد الإرهاب، لمجلة WIRED: “على الرغم من الخطوات الاستباقية المتخذة، لا يزال TikTok هدفًا للاستغلال من قبل الجماعات المتطرفة مع تزايد شعبيته”. “تُظهر دراسة ISD أن عددًا صغيرًا من المتطرفين العنيفين يمكن أن يعيثوا فسادًا على منصات كبيرة بسبب عدم التماثل الخصومي. ولذلك يؤكد هذا التقرير على الحاجة إلى معلومات حول التهديدات عبر الأنظمة الأساسية مدعومة بإدارة محتوى محسّنة مدعومة بالذكاء الاصطناعي. ويذكرنا التقرير أيضًا أنه يجب أيضًا محاسبة Telegram على دورها في النظام البيئي المتطرف عبر الإنترنت.
وكما أوضح هادلي، فإن نتائج التقرير تظهر أن هناك ثغرات كبيرة في سياسات الشركة الحالية.
قال ريتشاردز: “لطالما وصفت TikTok، عندما يتعلق الأمر باستخدام اليمين المتطرف، بأنه منصة للمراسلة”. “أكثر من أي شيء آخر، الأمر يتعلق فقط بالتكرار. يتعلق الأمر بالتعرض لنفس رواية الكراهية مرارًا وتكرارًا، لأنه عند نقطة معينة تبدأ في تصديق الأشياء بعد أن تراها بما فيه الكفاية، وتبدأ في التأثير حقًا على نظرتك للعالم.
