كيف يمكن للمؤسسات الانتقال إلى بحيرة البيانات دون تعطيل أعمالها

غالبًا ما تعتمد الشركات على مستودعات البيانات وبحيرات البيانات للتعامل مع البيانات الضخمة لأغراض مختلفة ، من ذكاء الأعمال إلى علم البيانات. لكن هذه البنى لها قيود ومفاضلات تجعلها أقل من مثالية للفرق الحديثة. يهدف نهج جديد ، يسمى بيت بحيرة البيانات ، إلى التغلب على هذه التحديات من خلال دمج أفضل الميزات لكليهما.

أولاً ، دعنا نتحدث عن التقنية الأساسية: مستودع البيانات هو نظام يدمج بيانات الأعمال المنظمة من مصادر متعددة للتحليل وإعداد التقارير ، مثل تتبع اتجاهات المبيعات أو سلوك العميل. من ناحية أخرى ، تعتبر بحيرة البيانات مستودعًا أوسع يخزن البيانات بتنسيقها الخام أو الطبيعي ، مما يسمح بمزيد من المرونة والاستكشاف لتطبيقات مثل الذكاء الاصطناعي والتعلم الآلي.

ومع ذلك ، فإن هذه البنى لها عيوب. يمكن أن تكون مستودعات البيانات مكلفة ومعقدة وصلبة ، وتتطلب مخططات وتحويلات محددة مسبقًا قد لا تناسب جميع حالات الاستخدام. يمكن أن تكون بحيرات البيانات فوضوية وغير موثوقة ويصعب إدارتها ، وتفتقر إلى الجودة والاتساق اللذين توفرهما مستودعات البيانات.

مستودع بحيرة البيانات هو حل هجين يحاول معالجة هذه المشكلات من خلال الجمع بين قابلية التوسع والتنوع في بحيرة البيانات مع موثوقية وأداء مستودع البيانات.

وفقًا لآدم رونثال ، نائب الرئيس للمحلل لإدارة البيانات والتحليلات في Gartner ، فإن بنية Lakehouse لديها هدفان: “الأول ، توفير المستوى الصحيح من تحسين البيانات المطلوب لخدمة الجمهور المستهدف ، والثاني ، تقارب البيانات فعليًا المستودع وبيئة بحيرة البيانات “. شرح هذا المفهوم في مقابلة مع VentureBeat.

من خلال الانتقال إلى مستودع البيانات ، يمكن للمؤسسات الاستفادة من منصة واحدة يمكن أن تخدم احتياجات وجماهير متعددة ، دون المساومة على الجودة أو الكفاءة. ومع ذلك ، فإن هذا الانتقال يطرح أيضًا بعض التحديات ، مثل ضمان التوافق والأمن والحوكمة عبر أنواع مختلفة من البيانات والأنظمة. تحتاج الشركات إلى تخطيط وتنفيذ إستراتيجية الترحيل الخاصة بهم بعناية لتجنب تعطل الأعمال وتحقيق النتائج المرجوة.

كيف يساعد بيت بحيرة البيانات؟

عندما تنفذ شركة بحيرة بيانات ، فإنها تسمح للمؤسسة بتخزين جميع بياناتها ، من سجلات الأعمال عالية التنظيم إلى البيانات الفوضوية وغير المنظمة مثل منشورات الوسائط الاجتماعية ، في مستودع واحد.

يمكّن هذا النهج الموحد الفرق من تشغيل كل من لوحات المعلومات في الوقت الفعلي وتطبيقات التعلم الآلي المتقدمة على نفس البيانات ، وإطلاق العنان لرؤى وفرص جديدة لصنع القرار المستند إلى البيانات عبر المؤسسة.

يجادل المؤيدون بأن نموذج بحيرة البيانات يوفر قدرًا أكبر من المرونة وقابلية التوسع وتوفير التكاليف مقارنة بالبنى القديمة. عندما يتم تصميمها بشكل جيد ، فإن مستودع بحيرة البيانات يسمح بالتحليل في الوقت الفعلي ، وإضفاء الطابع الديمقراطي على البيانات ، وتحسين نتائج الأعمال من خلال القرارات التي تعتمد على البيانات.

عقبات نقل البيانات إلى بحيرة

في حين أن مزايا مستودع بحيرة البيانات واضحة ، فإن ترحيل أحمال عمل البيانات الحالية ليس مهمة بسيطة. يمكن أن ينطوي على تكاليف عالية وتأخيرات طويلة واضطرابات كبيرة في العمليات التي تعتمد على البيانات. بشكل أساسي ، عندما تكون أصول البيانات موجودة بالفعل في البنية القديمة الحالية وتدفع العديد من تطبيقات الأعمال ، يمكن أن يكون الترحيل مكلفًا ويستغرق وقتًا طويلاً ، ويؤدي إلى اضطراب مادي للأعمال – مما يؤدي إلى احتمال خسارة العملاء والإيرادات.

“إذا قمت بالفعل بنقل قدر كبير من البيانات إلى مستودع بيانات ، فيجب عليك تطوير نهج ترحيل مرحلي. هذا من شأنه أن يقلل من اضطراب الأعمال التجارية ويعطي الأولوية لأصول البيانات بناءً على حالات استخدام التحليلات الخاصة بك ، “قال Adrian Estala ، كبير مسؤولي البيانات الميداني في Starburst ، لـ VentureBeat.

كجزء من هذا ، يوضح Estala ، يجب على الشركة أولاً إنشاء طبقة افتراضية عبر بيئات المستودعات الحالية ، وإنشاء منتجات بيانات افتراضية تعكس مخططات المستودعات القديمة الحالية. بمجرد أن تصبح هذه المنتجات جاهزة ، يمكن استخدامها للحفاظ على الحلول الحالية وضمان استمرارية الأعمال.

بعد ذلك ، قال المسؤول التنفيذي ، يجب على الفرق إعطاء الأولوية لنقل مجموعات البيانات بناءً على التكلفة أو التعقيد أو حالات استخدام التحليلات الحالية. كما اقترح رونثال نفس الشيء ، مشيرًا إلى نهج “التقييم والاختبار المستمر” لضمان الانتقال التدريجي مع التأكد أيضًا من أن الهيكل الجديد يلبي احتياجات المنظمة.

وأشار محلل نائب الرئيس: “يتعلق الأمر في المقام الأول بمعرفة أين يوجد خط” جيد بما فيه الكفاية “. “قد أبدأ بأخذ أعباء العمل الأكثر تعقيدًا في مستودع البيانات الخاص بي وتجربتها على هندسة Lakehouse … سؤالي الأساسي هو” هل يمكن لمركز البحيرة تلبية هذه الاحتياجات؟ ” إذا لم يكن ذلك ممكنًا ، فأنتقل إلى عبء العمل التالي الأكثر تعقيدًا حتى أجد الخط الجيد بما فيه الكفاية ، وبعد ذلك يمكنني إجراء تقييم لمدى قابلية بنية بحيرة البحيرة لتلبية احتياجاتي المحددة “.

بمجرد اختبار أعباء العمل ، يمكن لمهندسي البيانات البناء على هذه الإستراتيجية وتولي عملية كيفية نقل أصول البيانات ، وأين يتم وضعها وأي التنسيقات المفتوحة يتم استخدامها. لن تكون هذه الخطوة معقدة للغاية نظرًا لوجود العديد من الطرق لنقل البيانات إلى السحابة ، من السحابة أو عبر السحب. بالإضافة إلى ذلك ، سيتم أيضًا تطبيق جميع قواعد ترحيل قاعدة البيانات العادية ، بدءًا من ترحيل المخطط وضمان الجودة إلى ترحيل التطبيق والأمان.

“في الواجهة الأمامية ، لا ينبغي أن يهتم مستهلكو البيانات ، وإذا كنت جيدًا حقًا ، فلا ينبغي أن يدرك البعض أن البيانات قد تم نقلها. يجب أن تكون النهاية الخلفية مستخرجة تمامًا. ما يجب أن يلاحظوه هو سهولة الوصول إلى منتجات البيانات القابلة لإعادة الاستخدام وسرعة أكبر بكثير للتكرار من خلال التحسينات على حلول البيانات الخاصة بهم ، “قال Estala.

مسألة عائد على الاستثمار

الانتقال إلى بحيرة ليس قرارًا يمكن اتخاذه باستخفاف. يجب أن تكون مدفوعة بأهداف عمل واضحة ، مثل تحسين الوصول إلى البيانات والأداء ، وليس مجرد فضول أو حداثة. إذا كانت الشركة راضية عن مستودع البيانات الحالي الخاص بها ولا ترى أي فوائد مقنعة من التحول إلى بحيرة ، فقد يكون من الأفضل التمسك بما ينجح وتخصيص مواردها لمناطق أخرى. وإلا فقد ينتهي الأمر بإهدار الوقت والمال وإثارة الشكوك بين أصحاب المصلحة.

قد يكون Lakehouse هو مستقبل تحليلات البيانات ، لكنه ليس حلاً واحدًا يناسب الجميع.