على مدى الأشهر القليلة الماضية، استكشفت بي بي سي عالما مظلما ومخفيا – عالم ينتهي فيه المحتوى الأسوأ والأكثر رعبا وإزعاجا، وفي كثير من الحالات، المحتوى غير القانوني عبر الإنترنت.

قطع الرؤوس، والقتل الجماعي، وإساءة معاملة الأطفال، وخطاب الكراهية – كل هذا ينتهي في صناديق البريد الوارد لجيش عالمي من المشرفين على المحتوى.

لا تراهم أو تسمع منهم في كثير من الأحيان – ولكن هؤلاء هم الأشخاص الذين تتمثل مهمتهم في المراجعة ثم، عند الضرورة، حذف المحتوى الذي يتم الإبلاغ عنه من قبل مستخدمين آخرين، أو يتم وضع علامة عليه تلقائيًا بواسطة الأدوات التقنية.

أصبحت قضية السلامة عبر الإنترنت بارزة بشكل متزايد، حيث تتعرض شركات التكنولوجيا لضغوط أكبر لإزالة المواد الضارة بسرعة.

وعلى الرغم من الكثير من الأبحاث والاستثمارات التي تتدفق على الحلول التقنية للمساعدة، في نهاية المطاف، في الوقت الحالي، لا يزال المشرفون البشريون هم من يملكون الكلمة الأخيرة إلى حد كبير.

غالبًا ما يتم تعيين المشرفين من قبل شركات خارجية، لكنهم يعملون على المحتوى المنشور مباشرة على شبكات التواصل الاجتماعي الكبيرة بما في ذلك Instagram وTikTok وFacebook.

يتمركزون في جميع أنحاء العالم. الأشخاص الذين تحدثت إليهم أثناء إعداد سلسلتنا The Moderators for Radio 4 وBBC Sounds، كانوا يعيشون إلى حد كبير في شرق إفريقيا، وقد تركوا جميعًا هذه الصناعة منذ ذلك الحين.

وكانت قصصهم مروعة. بعض ما سجلناه كان وحشيًا جدًا بحيث لا يمكن بثه. في بعض الأحيان كنت أنا والمنتج توم وولفيندن ننهي التسجيل ونجلس في صمت.

يقول موجيز، الوسيط السابق المقيم في نيروبي والذي عمل على محتوى TikTok: “إذا أخذت هاتفك ثم ذهبت إلى TikTok، فسوف ترى الكثير من الأنشطة والرقص، كما تعلم، والأشياء السعيدة”. “لكن في الخلفية، كنت شخصيا أدير، بالمئات، مقاطع الفيديو المروعة والمؤلمة.

“لقد أخذت ذلك على عاتقي. دع صحتي العقلية تتغلب على الأمر حتى يتمكن المستخدمون العامون من مواصلة ممارسة أنشطتهم على المنصة.

يوجد حاليًا العديد من المطالبات القانونية المستمرة بأن العمل قد دمر الصحة العقلية لهؤلاء المشرفين. اجتمع بعض العمال السابقين في شرق أفريقيا معًا لتشكيل نقابة.

تقول مارثا دارك: “في الواقع، الشيء الوحيد الذي يحول بيني وبين تسجيل الدخول إلى إحدى منصات التواصل الاجتماعي ومشاهدة عملية قطع رأس، هو أن يجلس شخص ما في مكتب في مكان ما، ويشاهد هذا المحتوى نيابةً عني، ويراجعه حتى لا أضطر إلى ذلك”. الذي يدير Foxglove، وهي مجموعة حملة تدعم الإجراءات القانونية.

في عام 2020، وافقت شركة Meta، المعروفة آنذاك باسم Facebook، على دفع تسوية بقيمة 52 مليون دولار (40 مليون جنيه إسترليني) للمشرفين الذين أصيبوا بمشاكل في الصحة العقلية بسبب وظائفهم.

تم رفع الإجراء القانوني من قبل وسيطة سابقة في الولايات المتحدة تدعى سيلينا سكولا. ووصفت المشرفين بأنهم “حفظة النفوس”، بسبب كمية اللقطات التي يرونها والتي تحتوي على اللحظات الأخيرة من حياة الناس.

استخدم جميع المشرفين السابقين الذين تحدثت إليهم كلمة “الصدمة” في وصف تأثير العمل عليهم. وكان البعض يعاني من صعوبة في النوم والأكل.

ووصف أحدهم كيف أدى سماع بكاء طفل إلى إصابة زميله بالذعر. وقال آخر إنه وجد صعوبة في التعامل مع زوجته وأطفاله بسبب إساءة معاملة الأطفال التي شهدها.

كنت أتوقع منهم أن يقولوا إن هذا العمل كان مرهقًا عاطفيًا وعقليًا للغاية، وأنه لا ينبغي لأي إنسان أن يقوم به – واعتقدت أنهم سيدعمون بشكل كامل أن تصبح الصناعة بأكملها آلية، مع تطور أدوات الذكاء الاصطناعي للارتقاء إلى مستوى الوظيفة.

لكنهم لم يفعلوا ذلك.

ما برز بقوة هو الفخر الكبير الذي كان لدى المشرفين بالأدوار التي لعبوها في حماية العالم من الأذى عبر الإنترنت.

لقد رأوا أنفسهم كخدمة طوارئ حيوية. يقول أحدهم إنه أراد زيًا رسميًا وشارة، مقارنًا نفسه بالمسعف أو رجل الإطفاء.

يقول شخص كنا ندعوه ديفيد: «ولم تضيع حتى ثانية واحدة». لقد طلب عدم الكشف عن هويته، لكنه كان يعمل على مواد تم استخدامها لتدريب برنامج الدردشة الآلي الفيروسي ChatGPT، بحيث تمت برمجته بحيث لا يتقيأ مواد مروعة.

“أنا فخور بالأفراد الذين دربوا هذا النموذج ليكون على ما هو عليه اليوم.”

لكن الأداة ذاتها التي ساعد ديفيد في تدريبها، قد تنافسه في يوم من الأيام.

ديف ويلنر هو الرئيس السابق لقسم الثقة والسلامة في OpenAI، وهو منشئ ChatGPT. ويقول إن فريقه قام ببناء أداة إشراف بدائية، استنادًا إلى تقنية chatbot، والتي تمكنت من تحديد المحتوى الضار بمعدل دقة يبلغ حوالي 90٪.

يقول: “عندما أدركت تمامًا أن هذا سينجح، اختنقت قليلًا بصراحة”. “[AI tools] لا تشعر بالملل. ولا يتعبون ولا ينصدمون…. إنهم لا يعرفون الكلل.

ومع ذلك، ليس الجميع على ثقة من أن الذكاء الاصطناعي هو الحل السحري لقطاع الاعتدال المضطرب.

يقول الدكتور بول رايلي، كبير المحاضرين في الإعلام والديمقراطية بجامعة جلاسكو: “أعتقد أن الأمر يمثل مشكلة”. “من الواضح أن الذكاء الاصطناعي يمكن أن يكون وسيلة ثنائية صريحة للإشراف على المحتوى.

“يمكن أن يؤدي ذلك إلى الإفراط في حظر قضايا حرية التعبير، وبالطبع قد يفتقد الفروق الدقيقة التي يمكن للمشرفين البشريين التعرف عليها. ويضيف: “إن الاعتدال البشري ضروري للمنصات”.

“المشكلة هي أنه لا يوجد ما يكفي منهم، والوظيفة ضارة بشكل لا يصدق لأولئك الذين يقومون بها.”

لقد تواصلنا أيضًا مع شركات التكنولوجيا المذكورة في السلسلة.

وقال متحدث باسم TikTok إن الشركة تعلم أن الإشراف على المحتوى ليس مهمة سهلة، وأنها تسعى جاهدة لتعزيز بيئة عمل تتسم بالرعاية للموظفين. يتضمن ذلك تقديم الدعم السريري وإنشاء البرامج التي تدعم رفاهية المشرفين.

ويضيفون أن مقاطع الفيديو تتم مراجعتها في البداية بواسطة تقنية آلية، والتي يقولون إنها تزيل كمية كبيرة من المحتوى الضار.

وفي الوقت نفسه، تقول Open AI – الشركة التي تقف وراء Chat GPT – إنها ممتنة للعمل المهم والصعب أحيانًا الذي يقوم به العاملون البشريون لتدريب الذكاء الاصطناعي على اكتشاف مثل هذه الصور ومقاطع الفيديو. ويضيف متحدث باسم الشركة أن Open AI، بالتعاون مع شركائها، تطبق سياسات لحماية سلامة هذه الفرق.

وتقول شركة Meta – التي تمتلك Instagram و Facebook – إنها تطلب من جميع الشركات التي تعمل معها تقديم دعم في الموقع على مدار 24 ساعة مع محترفين مدربين. ويضيف أن المشرفين قادرون على تخصيص أدوات المراجعة الخاصة بهم لطمس المحتوى الرسومي.

المشرفون موجودون على راديو بي بي سي 4 الساعة 13:45 بتوقيت جرينتش، من الاثنين 11 نوفمبر إلى الجمعة 15 نوفمبر، وفي بي بي سي الأصوات.