تلوح في الأفق توطيدًا لحزمة أدوات البيانات المكدسة

في السنوات الأخيرة ، نشأت سلالة جديدة من منصات البيانات السحابية في الفناء الخلفي للدعائم الأساسية فائقة النطاق مثل AWS و Microsoft. اليوم ، Snowflake و Databricks وحفنة من الآخرين يقودون بنجاح جهود بيانات المؤسسة ، مما يمكّن العمالقة العالميين من الاتصال وتخزين وتوليد رؤى من المعلومات المتدفقة من مصادر مختلفة.

توفر الحلول للشركات قوة وقدرات هائلة. لكن هيمنتهم أدت أيضًا إلى “اندفاع الذهب” من نوع ما. مثال على ذلك: زيادة هائلة في عدد أدوات التجميع للبنية التحتية للبيانات.

نشأ نظام بيئي مزدحم من الأدوات في أعقاب نجاحات Snowflake و Databricks. يسعى بائعو الأدوات إلى إطلاق العنان لإمكانات منصات البيانات الحديثة. ومع ذلك ، فمع نمو صفوفهم ، قد يشهدون أيضًا توحيدًا. شوهدت علامات على ذلك في وقت سابق من هذا الأسبوع في اتفاقية مختبرات dbt Labs الخاصة ببيت التحليلات للاستحواذ على Transform ، والتي سعت إلى إنشاء طبقة بيانات دلالية لدمج مكدس البيانات الحديثة بشكل أفضل.

بينما يوفر لاعبون مثل Snowflake و Databricks نظامًا أساسيًا لاستضافة البيانات وإنشاء التطبيقات ، لا يمكنهم فعل كل شيء. هناك الكثير من المجالات في دورة حياة البيانات التي لا تخدمها هذه الحلول بشكل كامل – مثل استيعاب البيانات ، والتحول ، والتنسيق ، والإدارة ، والمراقبة. أدوات التكديس الحديثة ، التي يوفرها بائعو الطرف الثالث ، تملأ هذه الثغرات.

يتنافس عدد كبير من الشركات لتقديم منتجات وخدمات مختلفة للشركات [that] يحاولون البناء فوق النظم الإيكولوجية Snowflake و Databricks “، وفقًا لشون ناب ، المؤسس والرئيس التنفيذي لشركة Ascend.io ، التي تعمل على أتمتة أعباء عمل هندسة البيانات والتحليلات. أخبر Knapp VentureBeat أن مشكلة الازدحام في هذا الفضاء قد تفاقمت مع فرط التمويل ، مما أدى إلى ازدهار العديد من الميزات المحتملة بين العديد من الشركات المنفصلة.

تطور البيانات المتراصة

عندما برزت منصات البيانات إلى المقدمة ، كان أوائل المتبنين يتطلعون إلى معالجة نقاط الألم الفورية لديهم من خلال بناء الحلول البرمجية المطلوبة بأنفسهم. كانت هذه هي الموجة الأولى في تطور أدوات البيانات المكدسة ، عندما لم يكن هناك نمط أو اعتماد واسع النطاق لتبرير وجود حلول المؤسسة.

تدريجيًا ، مع ظهور الاحتياجات من حقبة المتبنين المبكرة ، نشأت الموجة الثانية من حلول النقاط. هذا هو المكان الذي توجد فيه معظم الشركات الآن. يأخذون أي أدوات بيانات متخصصة يمكنهم العثور عليها لحل أجزاء صغيرة من اللغز وتحقيق مكاسب كبيرة في أطر زمنية قصيرة.

اليوم ، تدعم Snowflake و Databricks أدوات الشركاء في العشرات. تأتي بعض العناصر الشائعة من مختبرات dbt و Matillion و Prophecy (لإعداد البيانات وتحويلها) ؛ Hightouch Hevo و Fivetran (لاستيعاب البيانات) ؛ و Anomalo و Lightup (لجودة البيانات).

وفي الوقت نفسه ، فإن أدوات ذكاء الأعمال مثل Alteryx و PowerBI و Tableau مصممة خصيصًا لأدوات التصور والتحليلات المخصصة الآن على نطاق واسع في تطبيقات Snowflake و Databricks.

هناك الكثير من التداخل فيما يقدمه البائعون ، والعديد من الحلول تغطي أيضًا جوانب مثل علم البيانات وإمكانية الملاحظة.

تؤدي معظم أدوات التجميع المتوفر المهمة بشكل جيد ، ولكن عندما يكون هناك عدد كبير جدًا من الحلول لإمكانيات مختلفة على نفس البنية التحتية ، فقد ينتهي الأمر بالفرق بتصميم أنظمة بيئية معقدة للغاية للبيانات. يتعين عليهم تجميع جميع أدواتهم المتباينة ودمجها وإدارتها في نفس الوقت ، مما يعني الدفع ليس فقط مقابل التكنولوجيا المستخدمة ولكن مقابل الوقت الهندسي وتكلفة الفرصة البديلة. هذا يؤثر بشكل مباشر على عائد الاستثمار.

علاوة على ذلك ، عندما ترتد البيانات بين أدوات متعددة ، يصبح من الصعب للغاية ضبط وتحسين حركتها ومعالجتها.

“يمكن أن يؤدي الانتقال من نموذج مترابط بسيط إلى نموذج معقد يحتوي على مئات أو حتى الآلاف من أوجه الاعتماد المتبادل إلى نظام بياني يصعب فهمه وصيانته ، ويتطلب العديد من التراخيص المكلفة ، ويفرض منحنى تعليميًا شديد الانحدار لتدريب المستخدمين والتأهيل ،” صرح بن هاينز ، المؤسس المشارك والرئيس التنفيذي لشركة Directus ، لموقع VentureBeat. تقوم Directus بحقول منصة بيانات تتضمن “محركًا للخدمة الخلفية” للمطورين جنبًا إلى جنب مع أدوات بدون تعليمات برمجية للمستخدمين غير التقنيين.

خدمات المكونات المختلفة داخل المداخن تتحرك باستمرار كائنات.

وأضاف هاينز من Ascend.io: “إذا تقدمت إحدى الخدمات وركدت خدمة أخرى أو لم تعد مدعومة ، فقد تنكسر عمليات التكامل والتبعيات بينهما”. “كسر التبعية يمكن أن يكون له تأثير الدومينو ، مما يؤدي إلى توقف العمليات. نظرًا لأن الخدمات المصغرة في كثير من الأحيان لا تلتصق ببعضها البعض بشكل كامل ، فقد تكون هناك أيضًا ثغرات في القدرات التي يجب ملؤها بالتعليمات البرمجية المخصصة والمنطق “.

هل تنتظر موجات جديدة من التعزيز؟

بينما تتعب الفرق من إدارة العشرات من الأدوات ، وظهور أنماط قياسية لما هو مطلوب على المدى الطويل ، من المتوقع أن ترتفع الموجة الثالثة ، “الدمج السريع”. هنا سوف تتطلع الفرق إلى تنفيذ نظام أساسي واحد يوحد معظم ، إن لم يكن كل ، القدرات التي يستخدمونها. غالبًا ما تتضمن هذه القدرات الاستيعاب والتحول وقابلية الملاحظة. ستعمل الفرق على تقليل التعقيد والتركيز بشكل أفضل على متطلبات المنتج الأساسية.

“ما تفعله بياناتنا ، أو كيف نفعل ذلك ، أو كيف نطبق المعلومات قد يكون مختلفًا ، ولكن هناك العديد من الأنماط الشائعة. عندما نرى هذه الأنماط تظهر ، هناك قيمة هائلة في إنشاء منصة واحدة توحد الكثير من هذه القدرات ، “أوضح كناب.

وأضاف: “مع الدمج ، لا يتعين على فرقنا قضاء معظم وقتهم في تجميع الأدوات معًا ودمج الأدوات ، وهو ما لا يمثل قيمة مضافة”. “النظام الأكثر توحيدًا يجعلها أكثر كفاءة ويمهد الطريق لتطورات جديدة. يمكنك ، على سبيل المثال ، تطبيق طبقات متقدمة حقًا من الذكاء على دورة حياة البيانات لأن لديك المزيد من البيانات الوصفية الموحدة ويمكنك بناء أنظمة آلية.

من جانبه ، يرى هاينز قائد Directus ظهور نموذج متوازن “المحور والتحدث” ، حيث يعمل المحور كخط أساس للوظائف العامة أو المهمة ، حيث يؤدي 80٪ من المهمة ، ولكنه لا يزال يوفر خيارًا لربط الأعمال الأخرى بسهولة – أدوات شديدة التخصص مثل تلك الموجودة في Stripe أو Hubspot أو Salesforce.

على نطاق واسع ، من المتوقع أن يكون تعزيز أدوات التكديس مدفوعًا بعمليات الاندماج والاستحواذ المدفوعة بالأسهم الخاصة ، لا سيما تلك التي تقودها منصات البيانات المهيمنة.

على سبيل المثال ، أعلن Snowflake مؤخرًا عن قرار الاستحواذ على Myst للتنبؤ بالسلاسل الزمنية بالإضافة إلى SnowConvert للمساعدة في الترحيل إلى السحابة. وبالمثل ، أعلنت شركة كليك المملوكة لتوما برافو ، الشهر الماضي ، عزمها الانضمام إلى تالند ، وهو كيان آخر مملوك لتوما برافو.

“إنه لمن المنطقي بالنسبة إلى Snowflakes و Databricks في العالم أن يكونوا أكثر اكتسابًا. ما إذا كنا نرى عمليات استحواذ كبيرة حقًا في الوقت الحالي أو ما إذا كانت قد جاءت في النصف الأخير من هذا العام أو العام المقبل ، فهذه نقطة تساؤل. من المحتمل أن أراهن أكثر في النصف الأخير من هذا العام والجزء الأول من العام المقبل ، “قال كناب. وأضاف أنه بالنسبة إلى Snowflake و Databricks ، سيكون هناك مستوى معين من الحذر حول اكتساب الكيانات التي يمكن أن تخلق ديناميكيات تنافسية داخل أنظمتها البيئية.