Apache PySpark باستخدام Databricks
تقدّم هذه الدورة فهماً شاملاً لـ Apache PySpark وDatabricks، بما يمكّن المشاركين من معالجة البيانات واسعة النطاق بكفاءة.
- رسوم الدورة
- تواصل معنا
- المدة
- 5 أيام
- سعر المجموعات
- اسأل المستشار
نبذة عن الدورة
تقدّم هذه الدورة فهماً شاملاً لـ Apache PySpark وDatabricks، بما يمكّن المشاركين من معالجة البيانات واسعة النطاق بكفاءة. وتغطي الدورة المفاهيم الأساسية لـ PySpark، وأُطر البيانات (DataFrames)، ومجموعات البيانات الموزعة المرنة (RDDs)، وSQL، وتعلّم الآلة، والتطبيقات العملية الواقعية في Databricks، وهي منصة سحابية تعاونية لتحليل البيانات. وسيكتسب المشاركون خبرة عملية في استخدام Databricks لمعالجة البيانات الضخمة والتحليلات وأحمال العمل القائمة على الذكاء الاصطناعي.
منهجية التدريب
مختبرات عملية – تمارين تطبيقية باستخدام دفاتر Databricks Notebooks
حالات استخدام واقعية – تطبيق PySpark في سيناريوهات الأعمال
عروض توضيحية مباشرة – شرح تفصيلي خطوة بخطوة لـ PySpark وDatabricks
جلسات برمجة تفاعلية – كتابة نصوص PySpark البرمجية وتنفيذها وتصحيح أخطائها
نقاشات جماعية وجلسات أسئلة وأجوبة – نقاشات تفاعلية حول تحسين أداء Spark
التعلّم القائم على المشاريع – مشروع ختامي باستخدام Databricks وPySpark
الكفاءات المستهدفة
- معالجة البيانات الضخمة باستخدام Apache PySpark
- معالجة البيانات وتحويلها باستخدام PySpark DataFrames
- كتابة استعلامات Spark SQL وتحسينها
- دمج PySpark مع Databricks
- الحوسبة المتوازية وإدارة العناقيد (Clusters)
- تعلّم الآلة باستخدام MLlib على Spark
- تحسين الأداء وتصحيح الأخطاء في مهام Spark
أهداف الدورة
بنهاية الدورة، سيكون المشاركون قادرين على:
- فهم بنية Apache PySpark ومكوناتها ومنظومتها
- كتابة نصوص PySpark البرمجية لتحليل البيانات وتحويلها
- إجراء معالجة البيانات المهيكلة باستخدام DataFrames وSQL
- استخدام Databricks للحوسبة الموزعة والتحليلات التعاونية
- تحسين مهام PySpark لتحقيق أداء وقابلية توسع أفضل
- تنفيذ مسارات عمل تعلّم الآلة باستخدام Spark MLlib
- التعامل مع تحديات البيانات الضخمة الواقعية باستخدام PySpark وDatabricks
محاور الدورة
- نظرة عامة على البيانات الضخمة وApache Spark وPySpark
- ما هي Databricks وكيف تعزز قدرات Spark؟
- إعداد مساحة عمل Databricks (الخيارات السحابية والمحلية)
- PySpark مقابل Pandas مقابل SQL – متى نستخدم كلاً منها؟
- مجموعات البيانات الموزعة المرنة (RDDs) مقابل DataFrames
- التحويلات (Transformations) والإجراءات (Actions) في PySpark
- التقييم الكسول (Lazy Evaluation) وخطط التنفيذ
- تسلسل البيانات (Serialization) وصيغ التخزين (Parquet وAvro وJSON)
- إنشاء DataFrames من البيانات المهيكلة وشبه المهيكلة
- تنظيف البيانات وتهيئتها (Data Wrangling)
- استخدام الدوال المعرّفة من قبل المستخدم (UDFs) في PySpark للعمليات المخصصة
- تجميع البيانات وعمليات الربط (Joins) ودوال النوافذ (Window Functions)
- كتابة استعلامات SQL في PySpark
- استخدام مُحسِّن Catalyst Optimizer لتخطيط تنفيذ الاستعلامات
- التقسيم (Partitioning) والتخزين المؤقت (Caching) لتحسين الأداء
- التعامل بكفاءة مع مجموعات البيانات واسعة النطاق
- العمل مع دفاتر Databricks Notebooks
- إدارة العناقيد والتوسع التلقائي (Autoscaling) في Databricks
- مهام Databricks Jobs وجدولة المهام
- دمج Databricks مع خدمات التخزين السحابي (Azure وAWS وGCP)
- مقدمة إلى Spark MLlib لتعلّم الآلة القابل للتوسع
- هندسة الخصائص (Feature Engineering) والمعالجة المسبقة للبيانات في PySpark
- تدريب نماذج تعلّم الآلة وتقييمها في Databricks
- تشغيل مسارات تعلّم الآلة (ML Pipelines) في بيئة موزعة
- فهم خطط تنفيذ المهام وواجهة Spark UI
- تحسين عمليات إعادة التوزيع (Shuffling) والتخزين المؤقت وعمليات الربط بالبث (Broadcast Joins)
- معالجة مشكلات الذاكرة وأخطاء نفاد الذاكرة (Out-of-Memory)
- أفضل الممارسات لتخصيص موارد العناقيد على النحو الأمثل
- مسارات ETL باستخدام PySpark في Databricks
- تقسيم العملاء إلى شرائح باستخدام Spark MLlib
- تحليل السجلات (Logs) واكتشاف الاحتيال باستخدام PySpark
- معالجة البيانات في الوقت الفعلي باستخدام Structured Streaming
