يأخذ تكامل LLM بحيرة بيانات Cloudera من البيانات الكبيرة إلى Big AI

بدأت Cloudera بدايتها في عصر البيانات الضخمة وهي الآن تنتقل بسرعة إلى عصر الذكاء الاصطناعي الكبير باستخدام نماذج اللغات الكبيرة (LLMs).

أعلنت Cloudera اليوم عن استراتيجيتها وأدواتها لمساعدة الشركات على دمج قوة LLMs والذكاء الاصطناعي التوليدي في منصة Cloudera Data Platform (CDP) الخاصة بالشركة. توفر منصة Cloudera نموذجًا مفتوحًا لبحيرة البيانات يتيح للمؤسسات تشغيل عمليات تحليل البيانات فوق تخزين بحيرة البيانات.

مع تكامل LLM ، تسهل Cloudera على المؤسسات الاندماج مباشرة مع LLM مفتوحة المصدر من Hugging Face وقواعد بيانات المتجه مفتوحة المصدر لبناء تطبيقات الذكاء الاصطناعي. إلى جانب تكامل LLM ، أعلنت Cloudera أيضًا عن التوافر العام لمنصة المراقبة الخاصة بها ، والتي ستساعد المؤسسات على مراقبة أعباء عمل البيانات التي تعمل على CDP.

قال رام فينكاتيش ، مدير التكنولوجيا في Cloudera ، لموقع VentureBeat: “يمكنك الآن الاستفادة من هذه الطريقة الجديدة لمعالجة البيانات والحصول على رؤى في الوقت الفعلي بمقياس لم يكن ممكنًا من قبل”. “بغض النظر عن كل الضجيج ، لقد كنت رجل SQL لفترة طويلة ، ولكن يمكنني أن أخبرك أن القدرة على تحليل جميع بياناتك ، خاصةً الأجزاء غير المهيكلة وشبه المهيكلة ، لم يكن لدينا أفضل مما وعدنا به … مع LLMs اليوم. “

كيف تقوم Cloudera بإحضار LLMs إلى بحيرة البيانات الخاصة بها

لا تقوم Cloudera ببناء LLMs الخاصة بها ؛ بدلاً من ذلك ، فإنه يسهل على المؤسسات استخدام LLM لاكتساب رؤى من البيانات التي تمتلكها المؤسسات بالفعل في بحيرة البيانات.

تمتلك Cloudera بالفعل كتالوجًا من البنى المرجعية التي توفرها لمستخدميها ؛ تضمنت حالات الاستخدام الحالية نماذج الذكاء الاصطناعي لتحليلات تضاؤل ​​العملاء والاحتيال. الآن تتوسع الشركة مع هياكل للمحادثات AI و LLMs. أوضح Venkatesh أن مستخدمي CDP يمكنهم اختيار بنية مرجعية LLM جديدة من الكتالوج وتثبيتها في بيئتهم في بضع دقائق.

نهج التدريب الذي تتبناه Cloudera هو ما يُعرف بنموذج التعلم بدون طلقة ، حيث يمكن أن يستفيد LLM الحالي بسرعة من مصدر البيانات الحالي. المجموعة الأولية من LLMs التي تتكامل معها Cloudera هي نماذج مفتوحة المصدر يمكن تشغيلها بالكامل داخل منصة Cloudera. أشار فينكاتيش إلى أنه من خلال تشغيل LLM في نفس النظام الأساسي مثل البيانات ، يمكن للمؤسسات ضمان عدم ترك أي بيانات من اختصاص المؤسسة وعدم إجراء مكالمات خارجية لواجهة برمجة التطبيقات. وأكد أن إبقاء البيانات تحت رقابة مشددة أمر بالغ الأهمية لبعض الشركات.

التقاطع بين قواعد بيانات المتجهات ومنصة بحيرة بيانات Cloudera

جزء من العمارة المرجعية Cloudera LLM هو دمج قواعد بيانات المتجه مفتوحة المصدر في المكدس.

قال فينكاتيش إن Cloudera تمكّن مستخدميها من اختيار قاعدة بيانات ناقلات مفتوحة المصدر لاستخدامها. من بين الخيارات Milvus و Weaviate و qdrant.

تعتمد تقنية Data Lakehouse على تخزين كائنات البيانات ، والتي قال فينكاتيش إنها غالبًا طريقة رائعة للمؤسسات لتخزين البيانات غير المهيكلة وشبه المنظمة. للعمل مع AI ، هناك حاجة لتنظيم البيانات باستخدام قاعدة بيانات متجه.

قال: “أنت حقًا بحاجة إلى محرك قاعدة بيانات يمكنه أخذ استعلام بحث دلالي ، وتشغيله في مساحة متجه ، وإرجاع النتائج الأكثر صلة إليك”.

شدد فينكاتيش على أن إنشاء قاعدة بيانات متجه لنشر LLM مع Cloudera لا يعني أن الشركات تقوم بتكرار البيانات ، مع مجموعة واحدة في Lakehouse وأخرى في قاعدة بيانات المتجه. بدلاً من تكرار البيانات ، فإن ما تفعله قاعدة بيانات المتجه هو توفير فهرس وظيفي للبيانات كمتجهات.

كيف LLMs هي المسار المنطقي للأمام من البيانات الضخمة

عندما بدأت Cloudera في عام 2008 ، كانت Big Data ، في شكل مشروع Hadoop مفتوح المصدر ، هي أساس الشركة.

تحول سوق البيانات الضخمة على مر السنين إلى مساحة بحيرة البيانات ، حيث تستخدم المؤسسات محركات الاستعلام ، التي تعتمد عادةً على SQL ، لتحليلات البيانات على البيانات المخزنة في مستودعات تخزين الكائنات السحابية. يرى فينكاتيش الآن LLM كخطوة منطقية تالية على المسار للأمام من البيانات الضخمة.

قال فينكاتيش: “جاءت مجموعة منا للعمل في البيانات الضخمة ، ليس لأننا جميعًا متحمسون بشأن SQL ، ولكن للنظر في طرق مختلفة تمامًا لتحليل البيانات”.

وأوضح أن البيانات الضخمة خلقت نهجًا شبيهًا بالهرم لتحليلات البيانات ، حيث توجد البيانات الضخمة في الأسفل ويمكن فقط تحليل كمية صغيرة من البيانات في الأعلى. باستخدام LLMs ، تم تسوية هذا الهيكل الهرمي ، مع توفر المزيد من البيانات للتحليل وأسهل الطرق.

قال فينكاتيش: “ما أراه مع LLMs والموجة الجديدة من الذكاء الاصطناعي هو عصر يمكنك فيه الآن تحليل جميع البيانات الموجودة في الطبقة العليا وبدلاً من الاستعلام باستخدام SQL أو Spark فقط ، فإن استفسارات اللغة الإنجليزية أو اللغة الطبيعية”. “ما عليك سوى استيعاب البيانات مرة واحدة ويمكنك الاستفادة من هذا العرض من التضمين المتجه عدة مرات ، بحيث يمكن لجميع استفساراتك الاستفادة من المتجر الدلالي.”