← العودة إلى البيانات والذكاء الاصطناعي
مهندس بيانات ضخمة
Big Data Engineer
تصميم وإدارة خطوط نقل البيانات الضخمة والبنى التحتية التخزينية الموزعة لضمان موثوقية وسرعة المعالجة.
ماذا ستفعل؟
توزيع تقريبي للمهام وفق وصف الدور، وقد يختلف حسب جهة العمل.
بناء خطوط الأنابيب والمعالجة المتدفقة (Streaming & Batch Pipelines)
كتابة وظائف المعالجة الموزعة باستخدام PySpark أو Scala، إعداد مواضيع Kafka لاستيعاب البيانات اللحظية، وجدولة ومراقبة…
كتابة وظائف المعالجة الموزعة باستخدام PySpark أو Scala، إعداد مواضيع Kafka لاستيعاب البيانات اللحظية، وجدولة ومراقبة…
Apache Spark (PySpark, Scala)Apache KafkaApache AirflowDelta Lake
مقارنة توضح التمايز بين هذا الدور والأدوار المشابهة في سوق العمل.