05/06/2026
جب ETL پائپ لائن ہفتوں تک اپنی SLA حاصل کرنے میں ناکام رہی — اصل کہانی کیا تھی؟
ایک بیچ ڈیٹا پائپ لائن (batch data pipeline) جسے تقریباً 1.5 گھنٹے میں ختم ہو جانا چاہیے تھا، وہ مسلسل 4 سے 5 گھنٹے لے رہی تھی اور رپورٹنگ کی ڈیڈ لائنز مس ہو رہی تھیں۔
پہلی نظر میں سب کچھ بالکل ٹھیک لگ رہا تھا:
کمپیوٹ (Compute) کو ضرورت کے مطابق درست اسکیل کیا گیا تھا۔
لاگز (logs) میں کوئی واضح خرابی یا فیلئرز نہیں تھے۔
اسپارک جاب کا فلو (Spark job flow) بھی بالکل نارمل تھا۔
لیکن جب ہم نے گہرائی سے جائزہ لیا، تو اصل مسئلہ ایک اسکیوڈ جوائن (skewed join) میں چھپا ہوا تھا، جس کی وجہ سے پارٹیشن کی تقسیم غیر مساوی (uneven partition distribution) ہو رہی تھی۔ ڈیٹا کا ایک پارٹیشن باقی تمام پارٹیشنز کے مقابلے میں بہت زیادہ ڈیٹا پروسیس کر رہا تھا، جبکہ کلسٹر کا باقی حصہ خالی بیٹھا ہوا تھا۔
ہم نے جوائن (join) سے پہلے پارٹیشننگ اسٹریٹجی کو دوبارہ ترتیب دے کر اور ڈیٹا کی تقسیم کو متوازن (balance) کر کے اس مسئلے کو حل کیا۔
نتائج (Results):
رن ٹائم (Runtime): 4 گھنٹے 20 منٹ سے کم ہو کر صرف 38 منٹ رہ گیا۔
پائپ لائن کی پائیداری (Pipeline stability): نمایاں حد تک بہتری آئی۔
ایس ایل اے (SLA): رپورٹیں دوبارہ وقت سے پہلے موصول ہونا شروع ہو گئیں۔
سبق: یہ کوئی "اسپارک (Spark) کا مسئلہ" نہیں تھا، بلکہ ڈیٹا کی تقسیم (data distribution) کا مسئلہ تھا جو کارکردگی کی خرابی کی صورت میں سامنے آ رہا تھا۔
