بيئة الإنتاج كانت حقل ألغام: كيف أنقذتنا ‘هندسة الفوضى’ من جحيم الأعطال غير المتوقعة؟

أذكر تلك الليلة جيداً، كانت ليلة خميس هادئة، والعائلة مجتمعة حول صينية الكنافة النابلسية التي أحضرتها أم عمر. الأجواء كانت رائعة، ضحكات الأولاد تملأ البيت، وأنا أحاول أن أفصل نفسي عن عالم الأكواد والخوادم ولو لساعات قليلة. وفجأة، ودون سابق إنذار، بدأ هاتفي يهتز بجنون. رسائل من نظام المراقبة، تنبيهات من PagerDuty، ورسائل من الفريق على Slack… كلها تصرخ بكلمة واحدة: “DOWN”.

قفزت إلى مكتبي، وفتحت الحاسوب وقلبي يدق بسرعة. الخدمة الرئيسية، قلب نظامنا النابض، كانت متوقفة تماماً. يا إلهي! بدأت رحلة البحث عن السبب، رحلة استمرت ثلاث ساعات متواصلة من التوتر والضغط، والفريق كله يعمل كخلية نحل مذعورة. كل دقيقة تمر كانت تعني خسارة في الإيرادات، وفقداناً لثقة المستخدمين. بالنهاية، ما كان السبب؟ عطل سخيف في خدمة DNS داخلية، أدى إلى تأخير بسيط في الاستجابة، وهذا التأخير تسبب في انهيار متتالٍ (Cascading Failure) لكل الخدمات المعتمدة عليها. لم يكن لدينا آلية تراجع (Fallback) مناسبة، ولم نختبر هذا السيناريو من قبل لأنه “غير محتمل الحدوث”.

في تلك الليلة، بعد أن عادت الأمور إلى طبيعتها بصعوبة، جلست مع فنجان قهوتي “السادة”، وأنا أنظر إلى شاشة المراقبة الخضراء. أقسمت أننا لن نسمح لهذا الجحيم أن يتكرر. كانت بيئة الإنتاج لدينا، بكل تعقيداتها، أشبه بحقل ألغام. كل خطوة قد تؤدي إلى انفجار. ومن هنا بدأت رحلتي، ورحلة فريقي، مع مفهوم بدا غريباً ومجنوناً في البداية: هندسة الفوضى (Chaos Engineering).

ما هي هندسة الفوضى؟ ليست كما تظن!

عندما يسمع معظم الناس مصطلح “هندسة الفوضى”، يتخيلون مبرمجين “مهابيل” يضغطون أزراراً حمراء عشوائية لتدمير الخوادم من أجل المتعة. الحقيقة مختلفة تماماً. هندسة الفوضى ليست عن خلق الفوضى، بل عن كشف الفوضى الكامنة والمختبئة في أنظمتنا المعقدة.

هندسة الفوضى هي التخصص الذي يقوم بإجراء تجارب على نظام برمجي بهدف بناء الثقة في قدرة النظام على تحمل الظروف المضطربة وغير المتوقعة في بيئة الإنتاج.

فكر فيها كأنها لقاح لنظامك. أنت تحقن جرعة صغيرة ومُتحكّم بها من الفشل (مثل إيقاف خادم، أو إضافة تأخير في الشبكة)، لترى كيف يتفاعل نظامك. هل يتعافى؟ هل يتدهور أداؤه برشاقة (Graceful Degradation)؟ أم ينهار بالكامل مثلما حدث معنا؟ الهدف هو العثور على نقاط الضعف في بيئة مُتحكّم بها، وإصلاحها قبل أن تسبب كارثة حقيقية في وقت الذروة.

المبادئ الأساسية لهندسة الفوضى

هذه الممارسة ليست عشوائية، بل تتبع منهجية علمية صارمة:

• ابدأ بفرضية حول “الحالة المستقرة” (Steady State): قبل أن تكسر أي شيء، يجب أن تعرف كيف يبدو “الوضع الطبيعي”. حدد مؤشرات الأداء الرئيسية (KPIs) التقنية والتجارية. مثلاً: “معدل الأخطاء أقل من 1%، ومعدل إتمام عمليات الشراء هو 50 عملية في الدقيقة”. هذه هي الحالة المستقرة.
• ضع فرضية للتجربة: الآن، كوّن فرضية. مثال: “نعتقد أنه إذا فشلت قاعدة البيانات الثانوية، فإن النظام سيتحول تلقائياً إلى قاعدة البيانات الأساسية في غضون 5 ثوانٍ، ولن تتأثر الحالة المستقرة”.
• أجرِ تجارب تحاكي أحداث العالم الحقيقي: ركز على الأعطال المحتملة: فشل الخوادم، بطء الشبكة، امتلاء القرص الصلب، فشل واجهات برمجة التطبيقات (APIs) الخارجية.
• قلّل من “نصف قطر الانفجار” (Blast Radius): هذا أهم مبدأ للسلامة. لا تبدأ تجربتك على 100% من المستخدمين. ابدأ في بيئة الاختبار (Staging)، ثم انتقل إلى نسبة صغيرة جداً من المستخدمين في بيئة الإنتاج (مثلاً 1%) في أوقات غير حرجة، وكن مستعداً لإيقاف التجربة فوراً.
• أتمتة التجارب لتشغيلها باستمرار: هندسة الفوضى ليست حدثاً لمرة واحدة. يجب أن تكون جزءاً من دورة حياة التطوير والنشر (CI/CD) للتأكد من أن التغييرات الجديدة لم تُدخل نقاط ضعف جديدة.

كيف تبدأ رحلتك مع هندسة الفوضى؟ (خطوات عملية)

هلأ بيجي السؤال المهم: كيف نبدأ يا أبو عمر؟ الموضوع أبسط مما تتخيل لو اتبعنا خطوات منظمة.

الخطوة الأولى: تحديد الحالة المستقرة (Baseline)

قبل إحداث أي فوضى، يجب أن يكون لديك لوحة متابعة (Dashboard) واضحة تعرض صحة نظامك. اسأل نفسك: ما هي المقاييس التي تخبرني أن “كل شيء على ما يرام”؟

• مقاييس النظام: استخدام المعالج (CPU)، الذاكرة (Memory)، معدل الأخطاء (Error Rate)، زمن الاستجابة (Latency).
• مقاييس العمل (Business Metrics): عدد المستخدمين النشطين، عدد عمليات الشراء في الساعة، معدل التسجيل.

هذه المقاييس هي بوصلتك. إذا انحرفت بشكل كبير أثناء التجربة، فهذا يعني أنك وجدت نقطة ضعف.

الخطوة الثانية: تصميم وتنفيذ أول تجربة فوضى

لنأخذ مثالاً عملياً. لنفترض أن لدينا خدمة مصغرة (Microservice) للمدفوعات تعتمد على خدمة أخرى لإدارة المخزون.

1. الفرضية: “إذا أصبحت خدمة المخزون بطيئة جداً (تأخير 500ms)، فإن خدمة المدفوعات ستنتهي مهلتها (timeout) بعد ثانيتين، وستعرض للمستخدم رسالة واضحة “نواجه ضغطاً، يرجى المحاولة لاحقاً”، دون أن تتعطل عملية الدفع نفسها.”
2. التجربة (حقن الفشل): سنقوم بحقن تأخير مقداره 500ms في الشبكة بين خدمة المدفوعات وخدمة المخزون.
3. تحديد نصف قطر الانفجار: سنطبق هذه التجربة على خادم واحد فقط من أصل 10 خوادم لخدمة المدفوعات، وذلك خارج أوقات الذروة.
4. التنفيذ والمراقبة: نبدأ التجربة ونراقب لوحة المتابعة. هل ارتفع معدل الأخطاء؟ هل تباطأ النظام بأكمله؟ هل ظهرت الرسالة الصحيحة للمستخدم؟
5. التحليل: بعد انتهاء التجربة، نحلل النتائج. قد نكتشف أن مهلة الانتظار لم تعمل كما هو متوقع، وأن خدمة المدفوعات انتظرت طويلاً مما أدى إلى استهلاك كل مواردها وتعطلها. هذا اكتشاف ذهبي!
6. الإصلاح والتحقق: نقوم بإصلاح المشكلة (مثلاً، ضبط إعدادات الـ timeout بشكل صحيح)، ثم نعيد نفس التجربة للتأكد من أن الإصلاح فعال وأن النظام يتصرف الآن كما توقعنا في الفرضية.

أدوات في جعبتنا لهندسة الفوضى

لست بحاجة لإعادة اختراع العجلة. هناك العديد من الأدوات مفتوحة المصدر والتجارية التي يمكن أن تساعدك.

أدوات مفتوحة المصدر

• LitmusChaos: مشروع رائع من CNCF، ومثالي لبيئات Kubernetes. يتيح لك تعريف تجارب الفوضى كملفات YAML بسيطة.
• Chaos Mesh: أداة قوية أخرى لبيئة Kubernetes، توفر لوحة تحكم مرئية لتصميم وإدارة التجارب.
• Chaos Monkey: الأداة الكلاسيكية من Netflix التي بدأت كل هذا. وظيفتها بسيطة: إيقاف خوادم افتراضية بشكل عشوائي في بيئة الإنتاج.

مثال كود باستخدام LitmusChaos

إذا كنت تعمل مع Kubernetes، فإن البدء مع Litmus سهل جداً. هذا مثال لملف `ChaosEngine` يقوم بحذف `pod` بشكل عشوائي لتطبيق يحمل `label` معين، وذلك لاختبار قدرة الـ `Deployment` على إعادة تشغيل الـ `pod` المفقود تلقائياً.

apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: my-app-chaos
  namespace: default
spec:
  # تفعيل محرك الفوضى
  engineState: 'active'
  # معلومات عن التطبيق المستهدف
  appinfo:
    appns: 'default'
    applabel: 'app=my-app'
    appkind: 'deployment'
  # حساب الخدمة الذي ستستخدمه التجربة
  chaosServiceAccount: litmus-admin
  experiments:
    - name: pod-delete
      spec:
        components:
          env:
            # مدة التجربة الإجمالية بالثواني
            - name: TOTAL_CHAOS_DURATION
              value: '60'
            # الفاصل الزمني بين كل عملية فوضى وأخرى
            - name: CHAOS_INTERVAL
              value: '15'

ما يفعله هذا الكود ببساطة هو أنه على مدار 60 ثانية، سيقوم كل 15 ثانية باختيار وحذف `pod` واحد تابع للتطبيق `my-app`. هذا يجبرك على التأكد من أن نظامك مرن بما يكفي للتعامل مع فقدان `pods` بشكل مفاجئ دون التأثير على الخدمة.

نصائح من خبرة أبو عمر الشخصية

بعد سنوات من تطبيق هذه المنهجية، اسمحوا لي أن أشارككم بعض الدروس التي تعلمتها بالطريقة الصعبة:

• الثقافة قبل الأدوات: أهم شيء هو الحصول على موافقة ودعم الإدارة والفريق. اشرح لهم “لماذا” نفعل ذلك. يجب أن يفهم الجميع أن العثور على نقطة ضعف هو نجاح وانتصار للفريق، وليس سبباً للوم شخص ما.
• ابدأ صغيراً جداً: أول تجربة لك يمكن أن تكون بسيطة جداً، مثل إيقاف نسخة من تطبيقك يدوياً في بيئة الاختبار (Staging) أثناء اجتماع الفريق، ومراقبة ما يحدث. هذا يبني الثقة ويزيل الخوف.
• نظّم “أيام اللعب” (Game Days): خصص بضع ساعات كل شهر ليجتمع الفريق ويقوم بمحاكاة سيناريوهات فشل حقيقية (مثل فشل منطقة توافر كاملة – Availability Zone). هذا تدريب ممتاز على الاستجابة للحوادث.
• لا تفترض، بل تحقق: كنت أظن أن آليات التراجع (Fallbacks) وقواطع الدائرة (Circuit Breakers) لدينا تعمل بشكل مثالي. هندسة الفوضى أثبتت لي أن الكثير منها كان مجرد “كود ميت” أو بإعدادات خاطئة.

الخلاصة: من حقل ألغام إلى قلعة حصينة 🏰

هندسة الفوضى غيرت طريقة تفكيرنا جذرياً. انتقلنا من فريق يعيش في خوف دائم من “مكالمة منتصف الليل”، إلى فريق يملك ثقة عالية في قوة ومرونة نظامه. لم نعد نأمل أن لا تحدث الأعطال، بل أصبحنا نبني أنظمة مُصممة لتتحملها برشاقة.

قد يبدو الأمر مخيفاً في البداية، ولكن الفائدة التي ستحصل عليها لا تقدر بثمن: أنظمة أكثر موثوقية، فريق أكثر خبرة، والأهم من ذلك كله، نوم هانئ في الليل.

لا تخافوا من الفوضى المنظّمة، بل احتضنوها لتصنعوا أنظمة لا تُقهر. صدقوني، نومكم في الليل سيصبح أعمق بكثير. 😉