كيف يعمل Prophecy 3.0 على تمكين الشركات من إنشاء خطوط بيانات بدون كتابة تعليمات برمجية SQL

أعلنت شركة Prophecy لهندسة البيانات ومقرها كاليفورنيا عن إصدار جديد لمنصتها الأساسية مع إمكانات SQL منخفضة التعليمات البرمجية.

يعمل الإصدار ، الذي أطلق عليه اسم Prophecy 3.0 ، على توسيع النظام الأساسي إلى ما وراء Spark ذات الشفرة المنخفضة لمهندسي البيانات ويمنح مستخدمي بيانات الأعمال لوحة سحب وإسقاط مرئية لإنشاء خطوط أنابيب البيانات محليًا على منصات البيانات السحابية.

في السابق ، كانت العملية تتطلب منهم كتابة كود SQL معقد ، مما أدى إلى حدوث تأخيرات ومشكلات في الدقة – وأثر على التحليلات النهائية وجهود التعلم الآلي.

SQL منخفض التعليمات البرمجية: كيف يساعد في خطوط أنابيب البيانات؟

بناء خط بيانات هو في الأساس إعداد البيانات للتحليلات. وهذا يعني كتابة كود SQL لمهام مثل استخراج البيانات من قواعد البيانات ، وتحويل المعلومات وتنظيفها ، وتحميلها إلى منصة البيانات المستهدفة. إنها كلها أشياء معتادة جدًا لمهندسي البيانات ، ولكن إذا حاول مستخدمو البيانات تجهيز البيانات بأنفسهم (ربما لتلبية احتياجات عمل معينة) ، يمكن أن تصبح العملية عنق الزجاجة ، مما يؤدي إلى الفشل في تغذية البيانات الصحيحة في الوقت المناسب للتحليلات المخطط لها .

بعد كل شيء ، معظم مستخدمي الأعمال خبراء في البيانات ، وليسوا مهندسي بيانات خبراء.

مع إضافة لغة SQL منخفضة الشفرة إلى نظامها الأساسي ، تعمل Prophecy على سد هذه الفجوة وتزويد مستخدمي بيانات الأعمال بواجهة سحب وإفلات مرئية لبناء خط أنابيب البيانات الذي يحتاجون إليه. بمجرد استخدام هذه اللوحة القماشية ، تحول تقنية النظام الأساسي التمثيل إلى كود SQL عاملة (كمشاريع أساسية dbt مفتوحة المصدر) وتجهز خط الأنابيب المعني للتحليلات.

“يمكن لفرق العمل إعداد البيانات بأنفسهم لإجراء التحليلات بسرعة وبساطة. وهذا يمكنهم من تقديم التحليلات بشكل أسرع ، والتكيف بسرعة مع احتياجات العمل المتغيرة. والأهم من ذلك ، أن هذا أيضًا يحرر فرق منصات البيانات المركزية التي غالبًا ما تحظى بإقبال كبير “.

والجدير بالذكر أن التقنية تعمل أيضًا في الاتجاه المعاكس حيث يمكن للمستخدمين فتح مشاريع أساسية موجودة في dbt وتحرير كود SQL كخطوط أنابيب مرئية ، مع حفظ التغييرات مرة أخرى كـ SQL.

وأضاف باينز: “المستخدمون الأوائل أيضًا سعداء جدًا لأن المطورين ذوي الكود المنخفض ومبرمجي SQL يمكنهم الآن العمل في نفس البيئة – حيث تقوم Prophecy بتحويل خطوط الأنابيب ذات التعليمات البرمجية المنخفضة إلى كود SQL ورمز SQL إلى خطوط أنابيب منخفضة التعليمات البرمجية على الفور”.

منصة موحدة

على الرغم من أن لغة SQL منخفضة الترميز جديدة ، إلا أنه يجب ملاحظة أن هذه ليست الأداة المرئية الأولى للنظام الأساسي. توفر الشركة بالفعل دعمًا منخفض الشفرة لـ Spark و Spark Streaming و Apache Airflow (لتنسيق سير عمل البيانات) – مما يجعل عرضًا موحدًا للمستخدمين ذوي الخبرات والاحتياجات المتنوعة.

“عندما تستخدم فرق البيانات المختلفة أدوات مختلفة لبناء خطوط الأنابيب ، فإنها تزيد من التكاليف والجداول الزمنية والمخاطر … يساعد إصدار Prophecy 3.0 محللي البيانات باستخدام SQL ومهندسي البيانات الذين يستخدمون مهندسي Spark و DevOps باستخدام Apache Airflow للتعاون من خلال نظام أساسي موحد منخفض التعليمات البرمجية . هذا يفتح إمكانيات جديدة ، مثل تطبيق فحوصات جودة البيانات باستمرار بغض النظر عن اللغة وتمكين إطار الخدمة الذاتية لإنشاء منتجات البيانات ، “صرح سانجيف موهان ، نائب الرئيس السابق لأبحاث Gartner للبيانات الضخمة والتحليلات المتقدمة ، لـ VentureBeat.

كما أشار كيفن بيتري ، نائب رئيس الأبحاث في Eckerson Group ، إلى ذلك أيضًا ، مشيرًا إلى أن إضافة لغة SQL منخفضة الكود إلى محفظة Prophecy تمنح مهندسي البيانات المهتمين بـ SQL ومهندسي التحليلات الموجهة نحو dbt خيارات جديدة لبناء خطوط الأنابيب وإدارتها وتنظيمها التي تدعم مشاريع التحليلات الحديثة.

“تستمر الشركات في اعتماد منصات Lakehouse التي تطبق الاستعلامات والتحويلات المستندة إلى SQL على مخازن الكائنات السحابية الأصلية. من خلال إضافة إمكانات SQL في خطوط الأنابيب ، تعمل Prophecy على زيادة سوقها القابل للتوجيه بشكل كبير “.

Prophecy 3.0 متاح الآن على منصة Databricks Lakehouse.