يتضاعف وقت تعطل البيانات تقريبًا حيث يكافح المحترفون مع مشكلات الجودة ، وفقًا للاستطلاع

البيانات مهمة لكل عمل تجاري ، ولكن عندما ينمو حجم المعلومات وتعقيد خطوط الأنابيب ، لا بد أن تنكسر الأمور!

وفقًا لمسح جديد شمل 200 متخصص في البيانات يعملون في الولايات المتحدة ، فإن حالات تعطل البيانات – الفترات التي تظل فيها بيانات المؤسسة مفقودة أو غير دقيقة أو يتعذر الوصول إليها – قد تضاعفت تقريبًا عامًا بعد عام ، نظرًا للزيادة في عدد حوادث الجودة ومكافحة الحرائق الوقت الذي تستغرقه الفرق.

يسلط الاستطلاع ، الذي أجرته شركة مراقبة البيانات Monte Carlo وأجرته Wakefield Research في مارس 2023 ، الضوء على فجوة حرجة يجب معالجتها حيث تتسابق المنظمات لسحب أكبر عدد ممكن من أصول البيانات لبناء تطبيقات الذكاء الاصطناعي والتحليلات للأعمال التجارية. – الوظائف الحرجة واتخاذ القرار.

“المزيد من البيانات بالإضافة إلى المزيد من التعقيد يعني المزيد من الفرص لكسر البيانات. يتم أيضًا اكتشاف نسبة أعلى من حوادث البيانات حيث أصبحت البيانات أكثر جزءًا لا يتجزأ من العمليات المدرة للدخل للمؤسسات. وهذا يعني أن مستخدمي الأعمال ومستهلكي البيانات هم أكثر عرضة للإصابة بالحوادث التي تفوتها فرق البيانات “.

محركات تعطل البيانات

في الأساس ، يعزو الاستطلاع ارتفاع وقت تعطل البيانات إلى ثلاثة عوامل رئيسية: عدد متزايد من الحوادث ، واستغلال المزيد من الوقت لاكتشافها ، واستغلال المزيد من الوقت لحل المشكلات.

من بين 200 مستجيب ، قال 51٪ إنهم شهدوا ما بين 1 إلى 20 حادث بيانات في شهر عادي ، و 20٪ أبلغوا عن 20 إلى 99 حادثًا ، و 27٪ قالوا إنهم يرون 100 حادث بيانات على الأقل كل شهر. هذا أعلى باستمرار من أرقام العام الماضي ، حيث ارتفع متوسط ​​عدد الحوادث الشهرية التي شهدتها منظمة إلى 67 هذا العام من 59 في عام 2022.

مع استمرار زيادة حالات البيانات السيئة ، تستغرق الفرق أيضًا مزيدًا من الوقت للعثور على المشكلات وإصلاحها. في العام الماضي ، قال 62٪ من المستجيبين إنهم عادة ما يستغرقون أربع ساعات أو أكثر في المتوسط ​​للكشف عن حادثة البيانات ، بينما ارتفع الرقم هذا العام إلى 68٪.

وبالمثل ، لحل الحوادث بعد الاكتشاف ، قال 63٪ أنها تستغرق عادةً أربع ساعات أو أكثر – ارتفاعًا من 47٪ العام الماضي. هنا ، انتقل متوسط ​​الوقت اللازم لحل حادث بيانات من 9 ساعات إلى 15 ساعة سنويًا.

النهج اليدوي هو المسؤول ، وليس المهندسين

في حين أنه من السهل جدًا إلقاء اللوم على مهندسي البيانات لفشلهم في ضمان الجودة واستغراق الكثير من الوقت لإصلاح الأشياء ، فمن المهم أن نفهم أن المشكلة ليست في الموهبة بل المهمة المطروحة. كما يلاحظ جافيش ، لا يتعامل المهندسون مع كميات كبيرة من البيانات سريعة الحركة فحسب ، بل يتعاملون أيضًا مع طرق التغيير المستمر لكيفية انبعاثها من المصادر واستهلاكها من قبل المؤسسة – والتي لا يمكن السيطرة عليها دائمًا.

“الخطأ الأكثر شيوعًا الذي ترتكبه الفرق في هذا الصدد هو الاعتماد حصريًا على اختبارات البيانات اليدوية الثابتة. إنها الأداة الخاطئة للوظيفة. يتطلب هذا النوع من النهج من فريقك أن يتوقع ويكتب اختبارًا لجميع الطرق التي يمكن أن تسوء بها البيانات في كل مجموعة بيانات ، الأمر الذي يستغرق الكثير من الوقت ولا يساعد في حل المشكلة ، “يشرح.

بدلاً من هذه الاختبارات ، قال كبير التكنولوجيا ، يجب على الفرق النظر في أتمتة جودة البيانات من خلال نشر شاشات التعلم الآلي لاكتشاف مشكلات حداثة البيانات وحجمها ومخططها وتوزيعها أينما حدثت في خط الأنابيب.

يمكن أن يمنح هذا محللي بيانات المؤسسة نظرة شاملة لموثوقية البيانات لحالات استخدام منتجات الأعمال والبيانات الهامة في الوقت الفعلي تقريبًا. بالإضافة إلى ذلك ، عندما يحدث خطأ ما ، يمكن للمراقبين إرسال تنبيهات ، مما يسمح للفرق بمعالجة المشكلة ليس فقط بسرعة ولكن أيضًا قبل أن تترك تأثيرًا كبيرًا على العمل.

يبقى التمسك بالأساسيات مهمًا

بالإضافة إلى الشاشات التي تعتمد على ML ، يجب على الفرق أيضًا الالتزام ببعض الأساسيات لتجنب تعطل البيانات ، بدءًا من التركيز وتحديد الأولويات.

“تتبع البيانات بشكل عام مبدأ باريتو ، 20٪ من مجموعات البيانات توفر 80٪ من قيمة الأعمال و 20٪ من مجموعات البيانات هذه (وليست بالضرورة نفس تلك) تسبب 80٪ من مشاكل جودة البيانات الخاصة بك. تأكد من أنه يمكنك تحديد مجموعات البيانات ذات القيمة العالية والمشاكل وأن تكون على دراية عندما تتغير بمرور الوقت ، “قال جافيش.

علاوة على ذلك ، يمكن أن تكون التكتيكات مثل إنشاء اتفاقيات مستوى الخدمة (اتفاقيات مستوى الخدمة) ، وإنشاء خطوط واضحة للملكية ، وكتابة الوثائق ، وإجراء عمليات ما بعد الوفاة مفيدة أيضًا.

حاليًا ، يلعب كل من Monte Carlo و Bigeye دور لاعبين رئيسيين في مساحة مراقبة البيانات سريعة النضج التي تعتمد على الذكاء الاصطناعي. اللاعبون الآخرون في هذه الفئة هم مجموعة من المبتدئين مثل Databand و Datafold و Validio و Soda و Acceldata.

ومع ذلك ، من الضروري ملاحظة أن الفرق لا تحتاج بالضرورة إلى استخدام حل مراقبة ML مطور من طرف ثالث لضمان الجودة وتقليل وقت تعطل البيانات. يمكنهم أيضًا اختيار البناء في المنزل إذا كان لديهم الوقت والموارد المطلوبة. وفقًا لمسح Monte Carlo-Wakefield ، يستغرق الأمر ما متوسطه 112 ساعة (حوالي أسبوعين) لتطوير مثل هذه الأداة داخل الشركة.

بينما لا يزال سوق أدوات مراقبة البيانات المحددة يتطور ، تشير أبحاث Future Market Insights إلى أنه من المتوقع أن ينمو سوق منصة المراقبة الأوسع من 2.17 مليار دولار في عام 2022 إلى 5.55 مليار دولار بحلول عام 2032 ، بمعدل نمو سنوي مركب يبلغ 8.2٪.