القيم المتطرفة: حيث يلتقي علم البيانات مع قصص النجاح
لقد قلب علم البيانات النموذج رأساً على عقب: لم تعد القيم المتطرفة "أخطاء يجب التخلص منها" بل معلومات قيّمة يجب فهمها. يمكن أن يؤدي وجود قيمة متطرفة واحدة إلى تشويه نموذج الانحدار الخطي تمامًا - تغيير الميل من 2 إلى 10 - ولكن التخلص منها قد يعني فقدان أهم إشارة في مجموعة البيانات. يقدم التعلم الآلي أدوات متطورة: تقوم غابة العزل بعزل القيم المتطرفة من خلال بناء أشجار قرار عشوائية، ويقوم عامل التطرف المحلي بتحليل الكثافة المحلية، وتقوم أجهزة الترميز التلقائي بإعادة بناء البيانات العادية والإبلاغ عما لا تستطيع إعادة إنتاجه. هناك قيم متطرفة عالمية (درجة الحرارة -10 درجات مئوية في المناطق الاستوائية)، وقيم متطرفة سياقية (إنفاق 1000 يورو في حي فقير)، وقيم متطرفة جماعية (شبكة حركة المرور المتزامنة التي تشير إلى حدوث هجوم). بالتوازي مع غلادويل: "قاعدة الـ 10,000 ساعة" محل جدل - بول مكارتني ديكسيت "العديد من الفرق الموسيقية قامت بـ 10,000 ساعة في هامبورغ دون نجاح، النظرية ليست معصومة". النجاح الحسابي الآسيوي ليس وراثيًا بل ثقافيًا: النظام العددي الصيني أكثر بديهية، زراعة الأرز تتطلب تحسينًا مستمرًا مقابل التوسع الإقليمي للزراعة الغربية. تطبيقات حقيقية: تستعيد بنوك المملكة المتحدة 18% من الخسائر المحتملة من خلال الكشف عن الشذوذ في الوقت الحقيقي، ويكتشف التصنيع العيوب المجهرية التي قد يفوتها الفحص البشري، وتتحقق الرعاية الصحية من صحة بيانات التجارب السريرية بحساسية تزيد عن 85% من كشف الشذوذ. الدرس الأخير: مع انتقال علم البيانات من القضاء على القيم المتطرفة إلى فهمها، يجب أن ننظر إلى المهن غير التقليدية ليس على أنها حالات شاذة يجب تصحيحها ولكن كمسارات قيّمة يجب دراستها.