⚗ اقرأ نتيجة A/B test بصدق

1. 01

   حدّد الفرضية وقاعدة القرار قبل أن تنظر إلى النتيجة

   افتح المجلد الذي يحوي بيانات التجربة في Claude Desktop واسأل في المحادثة — دون الحاجة إلى Terminal. ثبّت السؤال والحدّ قبل رؤية النتيجة، حتى لا تستطيع النتيجة أن تلوي المعايير. هذا هو الحارس الوحيد ضدّ تحريك القائمة المرمى لا شعوريًا نحو ما فعلته البيانات.

   أنت تطلب انسخ

   قبل أن تحسب أي نتيجة، ساعدني في تدوين الاختبار على المحضر: الفرضية، والمقياس الأساسي الواحد الذي يحسم الفوز/الخسارة، والحدّ الأدنى لحجم الأثر الذي يستحق الشحن فعلًا (لا مجرّد 'موجب')، ومقاييس guardrail التي يجب ألّا تتراجع، والقطاعات التي قلنا مسبقًا إننا سننظر إليها. إن لم يكن أيٌّ من هذه قد تقرّر مسبقًا، نبّهني عليه — أريد أن ألتزم بالمعايير قبل أن أرى النتيجة.

   ما تحصل عليه قاعدة قرار مكتوبة: «الأساسي = تحويل checkout؛ اشحن إن ارتفع 2% على الأقل ولم يتراجع أي guardrail؛ القطاعات المُعلَنة مسبقًا: الجدد مقابل العائدين». وإن لم يُسجَّل شيء مسبقًا، ملاحظة صادقة بأن القراءة استكشافية — وهذا يغيّر مقدار الثقل الذي تتحمّله النتيجة.

   الالتزام بالمقياس الأساسي والحدّ قبل الكشف هو اللعبة كلها. الاختبار الذي تُختار معايير نجاحه بعد رؤية البيانات يمكن جعله 'يفوز' في كل مرّة تقريبًا — والجميع في الأسفل يدفع الثمن.

2. 02

   تحقّق من سلامة التجربة قبل أن تثق بالنتيجة

   النتيجة بجودة الاختبار الذي أنتجها لا أكثر. افحص السباكة أولًا — مجموعات متوازنة، randomization حقيقي، بيانات كافية، مدّة كافية، لا تلوّث — لأن إعدادًا معطوبًا يُنتج رقمًا واثقًا لا يعني شيئًا.

   أنت تطلب انسخ

   قبل قراءة النتيجة، تحقّق من سلامة التجربة نفسها. هل مجموعتا control وtreatment بالحجم الذي نتوقّعه تقريبًا (نبّه على أي sample-ratio mismatch — اختلالٌ كبير يوحي بإسنادٍ معطوب)؟ هل تبدو المجموعتان متوازنتين على بضع سمات سابقة للمعالجة، أم أن الـ randomization فشل؟ هل جرت مدّة كافية وعلى أسابيع كاملة لتجنّب انحياز يوم الأسبوع؟ أي إشارة تلوّث — مستخدمون في المجموعتين، أو احتُسب الشخص نفسه مرّتين؟

   ما تحصل عليه حُكمٌ على سلامة الاختبار: «المجموعتان 50.1/49.9 — جيّد. متوازنتان على cohort التسجيل والـ plan. جرت 14 يومًا كاملة. لا مستخدمين مكرّرين عبر الـ variants». أو راية حمراء — «treatment يضمّ 60% من المستخدمين؛ الإسناد معطوب، لا تقرأ النتيجة» — مُلتقَطة قبل أن تستنتج من أساسٍ مُزوَّر.

   الـ sample-ratio mismatch أو فشل الـ randomization يُبطل النتيجة مهما بدت دالّة. هذه هي الخطوة التي تفصل بين 'الاختبار يقول' و'لوحة التحكّم تقول'.

3. 03

   اقرأ المقياس الأساسي مع حالة عدم اليقين المحيطة به — لا كرقم واحد

   الآن اقرأ النتيجة كما يجب: حجم الأثر مع الـ confidence interval، حتى ترى مدى الحقيقة المعقولة، لا تقديرًا نقطيًا يُخفي مدى عدم اليقين. 'دالّ' هو نعم/لا يرمي أهمّ المعلومات — كم بلغ الأثر، وكم نحن واثقون.

   أنت تطلب انسخ

   الآن المقياس الأساسي فقط. أعطني معدّل control، ومعدّل treatment، والفرق المطلق والنسبي، والـ confidence interval عند 95% على ذلك الفرق. اشرح بلغة بسيطة ما الذي يعنيه هذا الـ interval هنا — مدى الآثار المتّسقة مع هذه البيانات. هل الـ interval كله فوق حدّي الأدنى للأثر الذي يستحق الشحن، أم يتخطّى الصفر، أم تحته؟ لا تنبش مقاييس أخرى بعد؛ اقرأ فقط الذي التزمنا به مسبقًا.

   ما تحصل عليه «control عند 4.0%، وtreatment عند 4.3%، أي +0.3pp (+7.5% نسبيًا)، الـ 95% CI ‏[+0.05pp، +0.55pp]. الـ interval كله موجب لكن طرفه الأدنى (+0.05pp) تحت حدّك البالغ 2% الذي يستحق الشحن — فالأرجح أنه أثر حقيقي لكنه صغير، لا يستحق الشحن بوضوح». حالة عدم اليقين على الطاولة، لا مدفونة تحت علامة خضراء.

4. 04

   افحص الـ guardrails والقطاعات — بصدق

   أكّد أن الفوز لم يأتِ بثمن، وقاوِم إغراء إنقاذ نتيجة ثابتة بقطاعٍ منتقًى بعناية. آثار المجموعات الفرعية هي حيث تُصنَّع الانتصارات الزائفة؛ عامِلها فرضياتٍ لا استنتاجات.

   أنت تطلب انسخ

   فحصان. أولًا، الـ guardrails: هل تراجع أيٌّ من [latency، معدّل المردودات، إلغاء الاشتراك، الأخطاء] في treatment، حتى لو تحسّن المقياس الأساسي؟ فوزٌ أساسيٌّ يكسر guardrail ليس فوزًا. ثانيًا، القطاعات المُعلَنة مسبقًا فقط (الجدد مقابل العائدين): هل يصمد الأثر، أم أنه متركّز في واحد؟ وكُن صريحًا: إن نظرتَ إلى أي قطاع لم نُعلِنه مسبقًا، فصنّفه استكشافيًا ولا يصلح للشحن. لا تدع مجموعةً فرعيةً محظوظةً واحدة تصبح العنوان الرئيسي.

   ما تحصل عليه «الـ guardrails نظيفة — لا تراجع في المردودات أو الـ latency. الأثر متّسق عبر الجدد والعائدين، لا يقوده واحد. (ملاحظة: الـ +14% الذي قد تشتهيه لقطاع 'enterprise' شريحة غير مخطّطة على 80 مستخدمًا — استكشافية، لا دليل)». القراءة الصادقة، مع استباق الانتقاء المتعمّد.

   التقطيع حتى يصبح شيءٌ دالًّا — ثم رواية تلك القصّة — هو أشيع طريقة تكذب بها قراءةٌ تبدو صادقة. القطاعات المُعلَنة مسبقًا تؤكّد؛ أما قطاعات ما بعد الحدث فلا تولّد إلا فرضيات للاختبار التالي.

5. 05

   اكتب قراءة اشحن / كرّر / ألغِ مع تصريحٍ بحالة عدم اليقين

   حوّلها إلى قرار يستطيع القائد التصرّف بناءً عليه دون إعادة اشتقاق الإحصاءات — الحُكم، والأثر مع مداه، وحالة الـ guardrail، والتحفّظات الصادقة. صرّح بما لست متيقّنًا منه؛ القراءة التي تُخفي عدم يقينها هي كيف تُباع نتيجة هامشية بأكثر من قيمتها.

   أنت تطلب انسخ

   اكتب قراءة التجربة لصاحب القرار: الحُكم (اشحن / كرّر / ألغِ) مقابل القاعدة التي وضعناها، والأثر الأساسي مع الـ confidence interval بلغة بسيطة، وحالة الـ guardrail، وقراءة القطاعات، وسطر صادق 'ما لا نستطيع استنتاجه من هذا'. أوصِ بخطوة تالية واضحة — اشحن، أو أطِل المدّة لقوّة أكبر، أو ألغِ. أبقِها في صفحة واحدة وابدأ بالقرار. احفظها باسم experiment-readout.md.

   ما تحصل عليه ملف experiment-readout.md من صفحة واحدة يبدأ بالقرار: «كرّر — الأثر موجب (+7.5%، CI من +1% إلى +14%) لكن الـ interval يشمل آثارًا أصغر من أن تبرّر كلفة الطرح؛ أوصي بإطالة المدّة أسبوعًا آخر لتضييقه قبل الحسم. الـ guardrails نظيفة. لا مفاجآت في القطاعات». قرارٌ يصمد أمام سؤال «كم أنت واثق؟».

   البدء بالقرار والتصريح بحالة عدم اليقين بوضوح هو ما يجعل القراءة جديرة بالثقة. 'إنه دالّ، اشحنه' يُخفي الحجم والشكّ؛ أما 'الأرجح أنه أثر حقيقي صغير، وهذا مداه، وهذه توصيتي' فيحترمهما.

ستحصل في النهاية على قراءة تجربة من صفحة واحدة تبدأ بقرار شحن / تكرار / إلغاء قابل للدفاع عنه — الاختبار متحقَّق منه، والأثر مقروء مع الـ confidence interval، والـ guardrails مؤكَّدة، والقطاعات مقروءة بصدق، وحالة عدم اليقين مُصرَّح بها بوضوح — حتى تشحن استنادًا إلى دليل يصمد أمام متشكّك، لا إلى رقمٍ أخضر لا يصمد.

أسئلة يطرحها الناس

هل أحتاج إلى معرفة الإحصاء لأُجري قراءة تجربة؟

لا — Claude يحسب المعدّلات والفرق والـ confidence interval وفحوص الـ guardrail والقطاعات، ويشرح كلًّا منها بلغة بسيطة. مهمّتك حُكم لا حساب: التزم بالمقياس الأساسي وحدّ ما-يستحق-الشحن قبل أن تنظر، واقرأ الأثر مقابل حالة عدم اليقين فيه بدل قراءته كرقم مفرد، وقرّر هل أثرٌ غالبًا-حقيقي كبيرٌ بما يكفي لتبرير الطرح. الـ playbook مبنيٌّ كي يستطيع غير المختصّ بالإحصاء أن يتّخذ قرارًا صادقًا إحصائيًا.

لوحة التحكّم تقول إن النتيجة دالّة إحصائيًا — أفلا أشحن مباشرةً؟

ليس بناءً على ذلك وحده. الدالّ يعني أن الأثر غالبًا ليس صفرًا؛ ولا يقول شيئًا عن كون الأثر كبيرًا بما يكفي للشحن، أو عن تراجع مقياس guardrail، أو عن سلامة الاختبار نفسه. أثرٌ دالٌّ ضئيل يكسر معدّل المردودات خسارة، لا فوز. اقرأ حجم الأثر مع الـ confidence interval مقابل حدّك الأدنى الذي يستحق الشحن، وأكّد أن الـ guardrails نظيفة، قبل أن يصبح الرقم الأخضر قرارًا.

ماذا لو لم نسجّل فرضيةً أو مقياسًا أساسيًا مسبقًا؟

حينها تكون القراءة استكشافية، وتقول ذلك — وهذا يغيّر مقدار الثقل الذي تتحمّله. دون مقياس وحدّ مُلتزَم بهما مسبقًا، يسهل اختيار المعايير التي تجعل النتيجة 'تفوز' لا شعوريًا، فالخطوة الصادقة أن تعامل النتائج كفرضيات لإعادة تشغيل مُسجَّلة مسبقًا كما ينبغي، لا كقرار شحن. الخطوة الأولى تنبّه على هذا صراحةً؛ والعلاج تسجيل الاختبار *التالي* مسبقًا، وهو ما يساعدك الـ playbook في تقويلبه.

قطاع واحد يُظهر أثرًا أكبر بكثير — أنشحن لهم فقط؟

فقط إن كان ذلك القطاع مُعلَنًا مسبقًا قبل أن ترى البيانات. إن وجدته بالتقطيع بعد الحدث، فهو فرضية لا دليل — التجارب المُقطَّعة بدقّة تُفرز فائزين زائفين بمحض الصدفة، والشحن على مجموعة فرعية لاحقة من أشيع طرق تضليل القراءة. سجّله شيئًا تختبره عمدًا في المرّة القادمة، واتّخذ هذا القرار على المقياس الأساسي المُلتزَم به مسبقًا عبر القطاعات المُعلَنة مسبقًا.