اختر فائزًا أو لا تتوقف عن التحسين أبدًا: طريقتان يحسم بهما اختبار A/B

كل أداة لاختبار A/B تطرح السؤال نفسه: أي نسخة فازت؟ لكن هذا السؤال قد يعني أمرين مختلفين، وكل منهما يتطلب نوعًا مختلفًا من الاختبار. أحيانًا تحتاج إلى إجابة — إعادة التصميم إما أن تتفوق على الصفحة القديمة أو لا، وستنشر إحداهما وتمضي. وأحيانًا تحتاج إلى مدير — لافتة الواجهة ستعمل طوال العام، وأفضل نسخة في يناير ليست الأفضل في يوليو، ولن يعود أحد لإعادة اختبارها كل ربع سنة. Personyze تشغّل النوعين من الحملة نفسها، والإعداد الذي يختار بينهما اسمه كيف يحسم هذا الاختبار. يشرح هذا المقال ما يفعله كل وضع فعلًا، وكم يكلّفك، وكيف تختار بينهما.

الاختبار نفسه محسومًا بطريقتين. على اليسار يبقى التقسيم ثابتًا إلى أن تُثبت نسخة جدارتها، ثم يستحوذ الفائز على الزيارات المختبرة. وعلى اليمين يتحرك التقسيم قليلًا كل ليلة ولا يتوقف أبدًا.

سؤالان، ونوعان من الاختبار

اختبار A/B الكلاسيكي تجربة. تثبّت التقسيم، وتنتظر، وتحصل على حكم مقرون بمستوى ثقة، ثم ينتهي الاختبار. وهذه العدالة هي بيت القصد: فلأن التقسيم لم يتحرك قط، تكون المقارنة نظيفة، ويمكنك أن تُري أي أحد لماذا اتخذت القرار. الثمن أن النسخة الخاسرة تستمر في تلقي حصتها الكاملة من الزيارات حتى النهاية، وأن الحكم لا يصح إلا على الفترة التي جرى فيها الاختبار.

أما النوع الآخر فهو ما يسميه الإحصائيون خوارزمية bandit: فبدلًا من انتظار القرار، تواصل إعادة القرار. كل ليلة تنظر إلى ما حدث مؤخرًا وتمنح قدرًا أكبر قليلًا من الزيارات للنسخة الأفضل أداءً الآن، مع الإبقاء دائمًا على جزء لمواصلة التعلم. لا تصدر حكمًا أبدًا، لأنها لا تحتاج إليه. الثمن أن التقسيم يتأخر دائمًا بضعة أيام عن الواقع، وأن المقارنة ليست نظيفة بما يكفي لنشرها كنتيجة. ولا بأس بذلك إن لم يكن الهدف نتيجة أصلًا.

اختر فائزًا عند بلوغ الدلالة: التجربة

في هذا الوضع تبقى الزيارات كما ضبطتها بينما تتنافس النسخ على أهدافك، وينتهي الاختبار حين تُثبت إحداها جدارتها. ومعنى «تُثبت جدارتها» أربعة حدود، وتضبطها Personyze بصرامة أكبر من معظم الأدوات.

• هدف واحد أو أكثر. أول هدف تختاره هو الأساسي، وعليه تُبنى الجاهزية وتحديد الفائز. فالاختبار الذي يحسّن النقرات والاختبار الذي يحسّن الإيرادات لا يتفقان دائمًا، لذا تحدد أيهما تقصد.
• الثقة والجلسات والمدة. ثلاثة إعدادات مسبقة تضبط الثلاثة دفعة واحدة: حذر بثقة 99% و5,000 جلسة و21 يومًا؛ متوازن بثقة 95% و1,000 جلسة و14 يومًا؛ سريع بثقة 90% و500 جلسة و7 أيام. أو أدخل قيمك الخاصة. والحد الأدنى للمدة هو ما يمنع يوم ثلاثاء جيدًا من الفوز يوم الثلاثاء.
• حد أدنى للتحسن. يطلب حذر تحسنًا لا يقل عن 1%، ومتوازن 0.5%. والنسخة المتقدمة بفارق حقيقي إحصائيًا لكنه بلا قيمة تجارية لا تُرقّى.
• مجموعة تحكم، إن أردت. امنح الموقع دون تغيير حصته الخاصة — نسختان بنسبة 45% لكل منهما و10% محجوزة — فيكون التحسن الذي تعلنه هو التحسن الذي أحدثته فعلًا، لا التحسن مقارنةً بتخمين.

حين يُتجاوز الحد، يُرقّى الفائز: كل الزيارات المختبرة، أو الحصة التي تحددها، أو لا شيء على الإطلاق إن كنت تفضّل أن يصلك بريد إلكتروني وتقرر بنفسك. وتبقى مجموعة التحكم التي احتفظت بها محجوزة، ليظل قياس الحملة ممكنًا بعد القرار. ثم ينتهي الأمر، وهذا بالضبط ما أردته منه.

الذكاء الاصطناعي: التحسين المستمر: المدير

في هذا الوضع لا ينتهي شيء. كل ليلة تقيّم جولة كل نسخة بناءً على ما حدث مؤخرًا وتعيد توزيع التقسيم نحو النسخة الأفضل أداءً الآن. وثلاث خصائص تجعل تركه يعمل أمرًا آمنًا.

• الزيارات الحديثة لها الوزن الأكبر. تتناقص قيمة المشاهدات والنقرات بنصف عمر قدره 28 يومًا، وكل ما يزيد عمره على 84 يومًا يُستبعد. فالنسخة التي كانت الأفضل قبل شهرين قد تخسر اليوم، وهذا هو المقصود: فهو يلاحظ حين يتغير الموسم.
• لا يتحرك إلا بثقة إحصائية. تحصل كل نسخة على فرصة أن تكون الأفضل، محسوبة من آلاف عمليات إعادة التشغيل المحاكاة للبيانات. والأرقام المتقاربة تعني أن البيانات لا تستطيع التمييز بين النسخ بعد، فيبقى التقسيم ثابتًا. كما يرفض حساب أي شيء دون بضع مئات من المشاهدات الموزونة، لأن خوارزمية bandit على حفنة من الجلسات مجرد مولّد أرقام عشوائية بوجه جاد.
• 10% تستكشف دائمًا. يُقسَّم عُشر الزيارات بالتساوي بين النسخ كل ليلة، مهما حدث. فتواصل النسخة الخاسرة كسب البيانات التي قد تعيد لها اعتبارها، ولا تُدفع أي نسخة إلى الصفر أبدًا، ولا يستطيع انقطاع البيانات تجميد نسخة عند 100%.

ما تفعله الجولة الليلية بالترتيب. الخطوة الأخيرة وحدها تمس ما يُقدَّم للزوار، ولا تكتب إلا حين يختلف التقسيم الموصى به عن الحالي بثلاث نقاط أو أكثر.

وهناك قاعدتان أخريان تتعلقان باحترام ما ضبطته. فالنسخة التي تضعها عند 0% قرارك أنت لا نقطة بيانات، وتبقى عند 0%، ومنحها حصة يدويًا هو ما يعيدها. كما أن المحسّن لا يعيد توزيع إلا الزيارات التي يخصصها التقسيم أصلًا — فالحملة التي تحجز 10% للموقع دون تغيير تواصل حجزها.

قيد صادق واحد: يقيس الوضع المستمر التفاعل — النقرات أو ما هو أفضل منها مقسومة على المشاهدات المؤكدة، مع احتساب النقرة التي أدت إلى تحويل — لأن هذه هي الإشارة التي ينتجها المحتوى الدائم بكميات كبيرة كل يوم. وإن كان ما يهمك هو الإيراد لكل جلسة في تغيير على صفحة الدفع، فهذا سؤال للتجربة، موجّهة إلى ذلك الهدف.

أيهما تختار؟

قاعدة عملية أثبتت صحتها: إن كنت ستشعر بالحرج لأنك ما زلت تختبره في الربع القادم، فاختر فائزًا. وإن كنت ستشعر بالحرج لأنك توقفت، فحسّن باستمرار. صفحة الأسعار تنتمي إلى المجموعة الأولى. ولافتة الصفحة الرئيسية تنتمي إلى الثانية. ويمكنك أن تغيّر رأيك: فالوضع إعداد في الحملة يُطبَّق عند الحفظ، ويمكن للحملة نفسها أن تعمل أولًا كتجربة ثم تُسلَّم إلى المحسّن حين تصبح جزءًا ثابتًا من الموقع.

ثمة خيار هجين يستحق المعرفة. يتضمن وضع التجربة خيارًا يتيح إزاحة التدوير تدريجيًا نحو الفائز المرجح أثناء الاختبار. يصل هذا الخيار إلى القرار أسرع، على حساب جزء من الصرامة التي جعلت التجربة جديرة بالإجراء. استخدمه في الاختبارات العاجلة، لا في تلك التي سيُطلب منك الدفاع عنها.

القراءة الثالثة: لكل جمهور

يشترك الوضعان في قراءة لا تملكها معظم الأدوات على الإطلاق. إذ إن اكتشاف الجماهير في Personyze ينقّب في بيانات زوارك بحثًا عن المجموعات التي تحقق تحويلات أعلى أو أدنى من المتوسط بكثير، ويُقيَّم الاختبار داخل كل جمهور من هذه الجماهير على حدة: المعدل لكل نسخة، وأي نسخة تتصدر هناك، ومدى اليقين في ذلك.

الأحكام لكل جمهور تحت اختبار جارٍ. قد تفوز نسخة على مستوى الموقع كله وتخسر لدى الزوار القادمين مباشرةً، والصفوف تقول ذلك، مع مدى اليقين في كل حكم.

وهذا يغيّر معنى «الفائز». فقد فازت B إجمالًا، لكن A فازت لدى زوار الهاتف بيقين 86%. وفي أداة لا تعرض إلا الإجمالي، ستنشر B وتسيء بصمت إلى تجربة الهاتف. أما هنا فيسمّي التقرير هذا الاختلاف، ويعرضه محرر الحملات في كل اختبار، أيًّا كان الوضع الذي يحسم به.

ما تفعله حيال ذلك بسيط عمدًا حتى الآن: لا تزال الحملة تقدّم تقسيمًا واحدًا للجميع، لذا للتصرف بناءً على فائز لدى جمهور معين، تستهدف نسخة من الحملة بذلك الجمهور مع نسخته الفائزة. والجماهير المكتشفة فئة في منتقي قواعد الحملة، فالأمر لا يتطلب سوى بضع نقرات. أما تقديم تقسيم مختلف لكل جمهور تلقائيًا فهو على خارطة الطريق، والتقييم لكل جمهور هو ما سيقوده.

الإعداد

1. في خطوة المحتوى في الحملة، أضف نسخك كمجموعات تدوير واضبط التقسيم. وإن أردت مجموعة تحكم، فامنح خيار الموقع الأصلي حصة منه.
2. اختر طريقة تعيين الزوار. تدوير المستخدمين يُبقي الزائر على النسخة نفسها في كل زيارة، وهو الإعداد الافتراضي الصحيح؛ الزيارات يعيد تعيين كل زيارة، للافتات والعناوين التي يُقاس فيها الظهور.
3. في قسم الأهداف، اختر هدفًا أو أكثر؛ الأول هو الأساسي.
4. في قسم كيف يحسم هذا الاختبار، اختر اختر فائزًا عند بلوغ الدلالة مع إعداد مسبق، أو الذكاء الاصطناعي: التحسين المستمر. احفظ.
5. اقرأ النتيجة في خطوة الأداء. في الوضع المستمر يعرض الجدول المشاهدات، والنقرات، وفرصة أن تكون الأفضل، والتقسيم الحالي والتقسيم الموصى به، وتحته أي نسخة تفوز لدى كل جمهور.

• اختبار A/B والاختبار متعدد المتغيرات — صفحة الميزة، مع عرض المحرر خطوة بخطوة.
• اكتشاف الجماهير — من أين تأتي القراءة لكل جمهور.
• كيف يقرر محرك التخصيص — أين يقع الاختبار بين الطبقات الأخرى.