الكلمات التي تكشف عن نص الذكاء الاصطناعي التوليدي

حتى الآن، حتى واجهت شركات الذكاء الاصطناعي صعوبة في التوصل إلى أدوات يمكنها الكشف بشكل موثوق عن وقت إنشاء جزء من الكتابة باستخدام نموذج لغة كبير. الآن، أنشأت مجموعة من الباحثين طريقة جديدة لتقدير استخدام ماجستير اللغة الإنجليزية عبر مجموعة كبيرة من الكتابة العلمية عن طريق قياس “الكلمات الزائدة” التي بدأت تظهر بشكل متكرر أكثر خلال عصر ماجستير اللغة الإنجليزية (أي 2023 و2024). ووفقاً للباحثين، فإن النتائج “تشير إلى أن ما لا يقل عن 10 بالمائة من ملخصات عام 2024 قد تمت معالجتها باستخدام شهادات الماجستير في القانون”.

في ورقة بحثية نُشرت في وقت سابق من هذا الشهر، قال أربعة باحثين من جامعة توبنغن الألمانية وجامعة نورث وسترن الألمانية إنهم استلهموا من الدراسات التي قاست تأثير جائحة كوفيد-19 من خلال النظر في الوفيات الزائدة مقارنة بالماضي القريب. ومن خلال إلقاء نظرة مماثلة على “الاستخدام الزائد للكلمات” بعد أن أصبحت أدوات كتابة ماجستير اللغة الإنجليزية متاحة على نطاق واسع في أواخر عام 2022، وجد الباحثون أن “ظهور ماجستير إدارة الأعمال أدى إلى زيادة مفاجئة في تكرار بعض الكلمات النمطية” وهو “غير مسبوق في كليهما”. النوعية و الكمية.”

الخوض في

لقياس هذه التغييرات في المفردات، قام الباحثون بتحليل 14 مليون ملخص ورقي منشور على PubMed بين عامي 2010 و2024، وتتبعوا التكرار النسبي لكل كلمة كما ظهرت في كل عام. ثم قاموا بمقارنة التكرار المتوقع لهذه الكلمات (استنادًا إلى خط الاتجاه قبل عام 2023) مع التكرار الفعلي لتلك الكلمات في الملخصات من عامي 2023 و2024، عندما كانت شهادات الماجستير في القانون قيد الاستخدام على نطاق واسع.

وجدت النتائج عددًا من الكلمات التي لم تكن شائعة على الإطلاق في هذه الملخصات العلمية قبل عام 2023 والتي ارتفعت شعبيتها فجأة بعد طرح شهادات الماجستير في القانون. على سبيل المثال، تظهر كلمة “delves” في 25 ضعف عدد أوراق عام 2024 التي كان يتوقعها اتجاه ما قبل ماجستير إدارة الأعمال؛ كما زاد استخدام كلمات مثل “العرض” و”الشرطات السفلية” بمقدار تسع مرات أيضًا. أصبحت الكلمات الأخرى الشائعة سابقًا أكثر شيوعًا بشكل ملحوظ في ملخصات ما بعد ماجستير العلوم: زاد تكرار كلمة “المحتملة” بنسبة 4.1 نقطة مئوية، وكلمة “النتائج” بنسبة 2.7 نقطة مئوية، وكلمة “حاسمة” بنسبة 2.6 نقطة مئوية، على سبيل المثال.

يمكن أن تحدث هذه الأنواع من التغييرات في استخدام الكلمات بشكل مستقل عن استخدام LLM، بالطبع – التطور الطبيعي للغة يعني أن الكلمات تدخل أحيانًا في الأسلوب وتخرج عنه. ومع ذلك، وجد الباحثون أنه في عصر ما قبل ماجستير إدارة الأعمال، لم تُلاحظ مثل هذه الزيادات الهائلة والمفاجئة على أساس سنوي إلا في الكلمات المرتبطة بالأحداث الصحية العالمية الكبرى: “إيبولا” في عام 2015؛ “زيكا” في عام 2017؛ وكلمات مثل “فيروس كورونا” و”الإغلاق” و”الجائحة” في الفترة من 2020 إلى 2022.

ومع ذلك، في فترة ما بعد ماجستير اللغة، وجد الباحثون مئات الكلمات مع زيادات مفاجئة وواضحة في الاستخدام العلمي والتي ليس لها صلة مشتركة بالأحداث العالمية. في الواقع، في حين أن الكلمات الزائدة خلال جائحة كوفيد كانت في الغالب أسماء، وجد الباحثون أن الكلمات ذات التردد ما بعد ماجستير اللغة الإنجليزية كانت في الغالب “كلمات نمطية” مثل الأفعال والصفات والأحوال (عينة صغيرة: “عبر، بالإضافة إلى ذلك” ، شاملة، حاسمة، معززة، معروضة، رؤى، على وجه الخصوص، داخل”).

هذه ليست نتيجة جديدة تمامًا، فقد لوحظ على نطاق واسع انتشار “التعمق” في الأوراق العلمية في الماضي القريب، على سبيل المثال. لكن الدراسات السابقة اعتمدت عمومًا على مقارنات مع عينات الكتابة البشرية “الحقيقة الأساسية” أو قوائم علامات LLM المحددة مسبقًا والتي تم الحصول عليها من خارج الدراسة. هنا، تعمل مجموعة الملخصات لما قبل عام 2023 كمجموعة مراقبة فعالة خاصة بها لإظهار كيف تغير اختيار المفردات بشكل عام في عصر ما بعد ماجستير اللغة الإنجليزية.

تفاعل معقد

من خلال تسليط الضوء على المئات مما يسمى بـ “الكلمات المميزة” التي أصبحت أكثر شيوعًا بشكل ملحوظ في عصر ما بعد LLM، يمكن في بعض الأحيان أن يكون من السهل انتقاء العلامات المميزة لاستخدام LLM. خذ هذا المثال على السطر المجرد الذي ذكره الباحثون، مع تمييز الكلمات المميزة: “أ شامل فهم التفاعل المعقد بين […] و […] يكون محوري لاستراتيجيات علاجية فعالة.”

بعد إجراء بعض القياسات الإحصائية لظهور الكلمات المميزة عبر الأوراق الفردية، يقدر الباحثون أن ما لا يقل عن 10% من أوراق ما بعد 2022 في مجموعة PubMed تمت كتابتها ببعض المساعدة على الأقل من LLM. يقول الباحثون إن العدد يمكن أن يكون أعلى من ذلك، لأن مجموعتهم قد تفتقد الملخصات المدعومة بماجستير القانون والتي لا تتضمن أيًا من الكلمات المميزة التي حددوها.