مقرّنا في أبوظبيمن الاثنين إلى الجمعةدوام صباحي ومسائي
الذكاء الاصطناعي وعلوم البيانات
Apache PySpark باستخدام Python
تقدّم هذه الدورة دراسة متعمقة لإطار Apache PySpark، وهو إطار عمل مفتوح المصدر للحوسبة الموزعة مخصص لمعالجة البيانات الضخمة.
المجموعة القادمة
2026 و2027
- رسوم الدورة
- تواصل معنا
- المدة
- 5 أيام
- سعر المجموعات
- اسأل المستشار
نبذة عن الدورة
تقدّم هذه الدورة دراسة متعمقة لإطار Apache PySpark، وهو إطار عمل مفتوح المصدر للحوسبة الموزعة مخصص لمعالجة البيانات الضخمة. وسيتعلّم المشاركون كيفية استخدام PySpark مع لغة Python لمعالجة مجموعات البيانات الكبيرة وتحليلها وتحويلها بكفاءة. وتغطي الدورة مجموعات البيانات الموزعة المرنة (RDDs)، وإطارات البيانات (DataFrames)، وSpark SQL، والتعلّم الآلي (MLlib)، وأساليب تحسين الأداء، بما يمكّن المشاركين من بناء خطوط معالجة بيانات قابلة للتوسع وعالية الأداء.
منهجية التدريب
جلسات برمجة تطبيقية – كتابة نصوص PySpark البرمجية وتنفيذها
عروض توضيحية مباشرة – استعراض تطبيقات PySpark في الواقع العملي
حالات استخدام واقعية – تطبيق PySpark في مجالات أعمال مختلفة
نقاشات جماعية وجلسات أسئلة وأجوبة – جلسات تفاعلية لتبادل المعرفة
التعلّم القائم على المشاريع – مشروع تخرّج نهائي للتطبيق العملي
الكفاءات المستهدفة
- معالجة البيانات الضخمة باستخدام PySpark
- كتابة إطارات البيانات (DataFrames) ومجموعات RDDs في PySpark وتحسينها
- استخدام Spark SQL لتحليل البيانات واسعة النطاق
- دمج PySpark مع وحدات التخزين السحابية وقواعد البيانات
- أساليب تحسين الأداء في Spark
- التعلّم الآلي باستخدام MLlib في PySpark
- التعامل مع البيانات المتدفقة باستخدام Structured Streaming
أهداف الدورة
بنهاية الدورة، سيكون المشاركون قادرين على:
- فهم بنية Apache Spark ونموذج التنفيذ فيه
- العمل مع مجموعات RDDs وإطارات البيانات (DataFrames) وSpark SQL في PySpark
- تنفيذ عمليات تحويل البيانات وتجميعها بكفاءة
- تحسين تطبيقات PySpark من حيث الأداء وقابلية التوسع
- تطوير نماذج التعلّم الآلي باستخدام Spark MLlib
- التعامل مع معالجة البيانات في الوقت الفعلي باستخدام Spark Streaming
- العمل مع مجموعات Spark (Clusters) السحابية والمحلية
محاور الدورة
المحور 1
الوحدة 1: مقدمة إلى Apache PySpark
- نظرة عامة على البيانات الضخمة والحوسبة الموزعة
- ما هو Apache Spark؟ – البنية والمكوّنات
- فهم مجموعات Spark (Clusters) ونموذج التنفيذ
- تثبيت PySpark وإعداده (محلياً، وعلى مجموعة خوادم، وعلى السحابة)
- مقارنة بين PySpark وPandas وDask – الفروق الرئيسية
المحور 2
الوحدة 2: المفاهيم الأساسية في PySpark – مجموعات RDDs وإطارات البيانات (DataFrames)
- فهم مجموعات البيانات الموزعة المرنة (RDDs)
- إنشاء مجموعات RDDs وتحويلها
- مقدمة إلى إطارات البيانات (DataFrames) وتعريف المخطط (Schema)
- الإجراءات (Actions) مقابل التحويلات (Transformations) – كيف يعمل Spark
- تحميل البيانات وصيغ التخزين (Parquet وAvro وJSON وCSV)
المحور 3
الوحدة 3: معالجة البيانات وتحويلها باستخدام PySpark
- تصفية البيانات وفرزها وتجميعها
- التعامل مع البيانات المفقودة وأساليب تنظيف البيانات
- استخدام الدوال المعرّفة من قِبل المستخدم (UDFs) في PySpark
- دوال النوافذ (Window Functions) والتحويلات المتقدمة للبيانات
- العمل مع البيانات المهيكلة وشبه المهيكلة
المحور 4
الوحدة 4: Spark SQL وتحسين الاستعلامات
- كتابة استعلامات SQL في PySpark
- استخدام Catalyst Optimizer لتحسين الاستعلامات
- التقسيم (Partitioning) والتجزئة إلى حاويات (Bucketing) لتحسين الأداء
- التعامل مع مجموعات البيانات الكبيرة باستخدام عمليات الربط (Joins) ومتغيرات البث (Broadcast Variables)
- أفضل الممارسات لتحسين الاستعلامات
المحور 5
الوحدة 5: التعلّم الآلي باستخدام PySpark MLlib
- مقدمة إلى Spark MLlib للتعلّم الآلي القابل للتوسع
- هندسة الخصائص (Feature Engineering) والمعالجة المسبقة للبيانات
- تدريب نماذج التعلّم الآلي وتقييمها
- بناء خطوط التعلّم الآلي (ML Pipelines) في PySpark
- ضبط المعاملات الفائقة (Hyperparameters) واختيار النموذج
المحور 6
الوحدة 6: تحسين الأداء وتصحيح الأخطاء في PySpark
- فهم المهام (Jobs) والمراحل (Stages) في Spark
- استخدام واجهة Spark UI لمراقبة المهام
- إدارة الذاكرة واستراتيجيات التخزين المؤقت (Caching)
- تحسين عمليات إعادة التوزيع (Shuffling) وتسلسل البيانات (Serialization)
- تصحيح أخطاء تطبيقات PySpark
المحور 7
الوحدة 7: معالجة البيانات في الوقت الفعلي باستخدام PySpark Streaming
- مقدمة إلى Structured Streaming في Spark
- بناء خطوط البيانات المتدفقة باستخدام Kafka وPySpark
- التعامل مع البيانات المتأخرة الوصول والمعالجة ذات الحالة (Stateful Processing)
- حالات استخدام واقعية: معالجة بيانات إنترنت الأشياء (IoT)، وتحليلات السجلات
المحور 8
الوحدة 8: دمج PySpark مع الحوسبة السحابية وقواعد البيانات
- ربط PySpark بوحدات التخزين السحابية (AWS S3 وGoogle Cloud وAzure Blob)
- قراءة البيانات من قواعد البيانات وكتابتها إليها (PostgreSQL وMySQL وMongoDB وCassandra)
- تشغيل PySpark على مجموعات Spark السحابية (AWS EMR وDatabricks وGCP Dataproc)
- نشر تطبيقات PySpark في بيئة الإنتاج
المحور 9
الوحدة 9: حالات استخدام واقعية ودراسات حالة
- خطوط ETL باستخدام PySpark – استخراج البيانات وتحويلها
- تقسيم العملاء إلى شرائح باستخدام Spark MLlib
- كشف الاحتيال في الوقت الفعلي باستخدام البيانات المتدفقة
- تحليلات البيانات الضخمة لقطاعي التجارة الإلكترونية والتمويل
