كيف تجعل قاعدة البيانات في الوقت الحقيقي أسرع؟ لدى روكست بعض الأفكار

أعلنت شركة Rockset لقاعدة بيانات التحليلات في الوقت الفعلي اليوم عن تحديث لمنصتها التي تحمل الاسم نفسه والتي تقدم بنية جديدة مصممة للمساعدة في تسريع حالات استخدام المؤسسات. يعتبر فصل بعض العمليات الأساسية أمرًا أساسيًا لتحقيق التسريع.

قامت منصات البيانات الحديثة ، بما في ذلك مستودعات البيانات ، بفصل مكون الحوسبة بشكل متزايد حيث يتم تنفيذ الاستعلامات من قطعة التخزين حيث يتم تخزين البيانات. ولكن بشكل تقليدي ، لم يتم فصل الحوسبة لتنفيذ استعلام البيانات عن استيعاب البيانات.

لقاعدة بيانات في الوقت الفعلي ، يجب استيعاب البيانات من جميع المصادر. عادةً ما يكون نفس محرك الحوسبة الذي يدعم الاستيعاب هو نفسه الذي يوفر محرك الاستعلام. ولكن ، يمكن أن يؤدي ذلك إلى مشكلات في الأداء ووقت الاستجابة ، بالإضافة إلى تحديات لتنفيذ استعلامات تحليلات في الوقت الفعلي على البيانات.

إن استخدام نفس الحساب لكل من الاستيعاب والاستعلام يعني أيضًا أنه في السحابة ، يتعين على المؤسسة تحديد حجم مثيل الحوسبة لكلا النوعين من العمليات ، بدلاً من مجرد التحسين لكل حالة استخدام محددة. مع آخر تحديث لها ، تفصل Rockset الآن بين العمليتين في نهج تشير إليه باسم “فصل الحوسبة-الحوسبة”.

“مع التحليلات في الوقت الفعلي ، لا تتوقف البيانات أبدًا ؛ قال فينكات فينكاتاراماني ، الشريك المؤسس والرئيس التنفيذي لشركة Rockset ، لموقع VentureBeat ، إنك تقوم بمعالجة البيانات الواردة طوال الوقت وأيضًا لا تتوقف استفساراتك أبدًا. “عندما تعمل الحوسبة على كل من الاستيعاب ومعالجة طلبات البحث على مدار الساعة طوال أيام الأسبوع ، يمكن أن تصبح بطيئة جدًا ومكلفة للغاية ومرهقة للغاية للعمل – ونحن الآن نتخلص من كل هذه الأشياء.”

RocksDB مفتوح المصدر في مركز فصل الحوسبة

تعود جذور الفريق وراء Rockset إلى Meta (Facebook سابقًا). من بين التقنيات الأساسية التي ساعد فينكاتاراماني وشركاؤه المؤسسون في بنائها متجر RocksDB مفتوح المصدر ذي القيمة الرئيسية.

RocksDB هي أساس Rockset ، وتوفر قاعدة لتخزين واستيعاب قواعد البيانات. تمتلك إمكانات فصل الحوسبة الجديدة جذورها أيضًا في الميزات الجديدة الموجودة في RocksDB والتي تتيحها Rockset في منصة قاعدة البيانات التجارية الخاصة بها.

أوضح Venkataramani أن Rockset ساعد في تطوير RocksDB memtable replicator الذي يمكنه تكرار حالة ذاكرة البيانات في RocksDB بكفاءة وموثوقية من مثيل حساب إلى آخر.

أوضح فينكاتاراماني: “الآن ، حيث تقوم إحدى الأجهزة بالكتابة وآلة أخرى تقوم بالقراءة ، لا يزال بإمكانهما الوصول في الوقت الفعلي إلى حالة بعضهما البعض”. “تم بالفعل إنشاء بقية حزمة Rockset للاستفادة من ذلك من حيث استيعاب البيانات ومعالجة استعلام SQL.”

أقل ازدواجية

لا يعد تكرار حالة مثيل الحوسبة هو نفسه النسخ المتماثل بالجملة للبيانات ، وهي محاولة لتمكين عرض البيانات واستعلامات البيانات في الوقت الفعلي. قال فينكاتاراماني إن طريقة بسيطة “ساذجة” لتحقيق فصل الحوسبة يمكن أن تكون شيئًا أساسيًا مثل استخدام وظيفة النسخ المتماثلة في قاعدة بيانات علائقية مثل PostgreSQL.

في نموذج النسخ المتماثلة لـ PostgreSQL ، يمكن أن يكون لدى المؤسسة عقدة أساسية تقوم باستيعاب البيانات ، ومن ثم يكون لديها نسخة متماثلة تخدم جميع الاستعلامات بشكل أساسي. أوضح فينكاتاراماني أنه مع هذا النهج ، تم تكرار بيانات الاستيعاب. وهذا يعني المزيد من تخزين البيانات ، والمزيد من التكلفة وبعض الوقت المستغرق.

قال فينكاتاراماني: “السحر هنا هو أنه يمكننا القيام بذلك دون تكرار الحوسبة ، ودون تكرار التخزين”.

ما يمكّن فصل الحوسبة عن تحليلات بيانات المؤسسة

مع فصل الحوسبة ، قال فينكاتاراماني إن المؤسسة يمكن أن يكون لديها مثيلات الحوسبة السحابية التي تم تحسينها لحالات الاستخدام الفعلي.

على سبيل المثال ، قد يكون لدى بعض المؤسسات عدد أقل من احتياجات حوسبة الاستعلام ومزيد من استيعاب البيانات ، أو العكس. قال فينكاتاراماني إنه بدون هذا النموذج ، غالبًا ما ينتهي الأمر بالمنظمات إلى الإفراط في توفير الموارد لتلبية الحد الأقصى من المتطلبات لكل من الاستيعاب والحساب.

سيتيح تحديث Rockset الجديد أيضًا موثوقية أفضل بشكل عام للتطبيقات مع فصل استيعاب البيانات عن معالجة الاستعلام. سيسمح هذا الأسلوب أيضًا بتوسيع نطاق التزامن مع زيادة حجم الاستعلام. أوضح Venkataramani أنه إذا تم توفير تطبيق في البداية للتعامل مع 100 استعلام في الثانية ، ولكن بعد ذلك يرتفع الطلب حتى 500 استعلام في الثانية ، يمكن لمحرك حساب الاستعلام المعزول أن يدور مثيلات حوسبة افتراضية جديدة للتعامل مع الطلب.

وقال: “حتى لو كان هناك تدفق سريع للبيانات الواردة من جانب استيعاب البيانات ، فسيتم عزل معالجة استعلام التطبيق تمامًا عن ذلك ، مما يتيح لك إنشاء تطبيقات أكثر موثوقية”.