A/B-тест убирает споры о том, какой скрипт лучше: вместо мнений вы сравниваете два варианта на реальных звонках и смотрите на цифры. Настроить его в кабинете может администратор без аналитика. Разбираем, что стоит тестировать, как правильно разделить трафик, какие метрики решают и как выбрать победителя без самообмана.
A/B-тест — это сравнение двух вариантов скрипта на реальном трафике: часть звонков идёт по варианту A, часть по варианту B, а затем сравниваются метрики. Он отвечает на вопрос «какой скрипт лучше» не мнением, а данными. Для обзвона и приёма звонков это самый честный способ улучшать сценарий.
Тест заменяет догадки о формулировках измеримым результатом на живых пациентах.
Тестируют то, что реально влияет на результат: приветствие, формулировку оффера, порядок вопросов, тон, момент перевода на человека. Не стоит тестировать всё сразу — выберите одну гипотезу за раз, иначе непонятно, что именно дало эффект. Одно изменение — один чистый тест.
Трафик делят случайно и примерно поровну: половина звонков получает вариант A, половина — B. Случайность важна, иначе в один вариант попадут, например, только утренние звонки, и сравнение исказится. В кабинете это настраивается переключателем, без ручного распределения звонков.
Деление должно быть по звонкам, а не по дням, чтобы исключить влияние времени и сезона.
Главная метрика зависит от цели скрипта: для приёма звонков это конверсия в запись, для обзвона — доля согласий или подтверждений. Смотрите и вспомогательные сигналы: долю сброшенных на приветствии, переводов на человека, длительность разговора. Одна целевая метрика плюс пара контрольных.
Не меняйте целевую метрику по ходу теста — это путь к самообману.
Вывод делают не по первым десяти звонкам: маленькая выборка даёт случайный результат. Дождитесь, пока через каждый вариант пройдёт достаточно звонков, чтобы разница не объяснялась случайностью. Чем меньше разрыв между вариантами, тем больше звонков нужно для надёжного вывода.
Поспешный вывод на малой выборке — самая частая ошибка A/B-тестов.
Победитель — вариант, который устойчиво выигрывает по целевой метрике на достаточной выборке, а не тот, что понравился руководителю. Если разница в пределах случайной погрешности, честный вывод — «разницы нет», и тогда выбирают более простой вариант. Не подгоняйте итог под ожидания.
Иногда лучший результат теста — честно узнать, что изменение ничего не дало, и не тратить силы на его внедрение.
Победивший вариант делают основным, а проигравший архивируют. Затем запускают следующий тест на новую гипотезу — оптимизация скрипта это не разовое действие, а постоянный цикл маленьких улучшений. Каждый выигранный тест немного поднимает конверсию, и эффект накапливается со временем.
Серия небольших проверенных улучшений надёжнее одной большой переделки наугад: каждый шаг опирается на данные предыдущего, и сценарий эволюционирует к лучшему без риска резко всё сломать.
Типичные ошибки: тестировать несколько изменений сразу, делать вывод на малой выборке, делить трафик по дням, менять метрику по ходу и подгонять итог под желаемое. Ещё одна — бросать тесты после первого и не строить из них цикл. Каждая обесценивает результат и возвращает к решениям на мнениях.
Дисциплина теста важнее красивой гипотезы: грязный тест хуже отсутствия теста.
Сформулируйте одну гипотезу, создайте вариант B, включите равное случайное деление трафика в кабинете, выберите целевую метрику и дождитесь достаточной выборки, затем сделайте победителя основным и запустите следующий тест. Всё настраивается без аналитика, а подключение к номеру через IP-телефонию занимает около 15 минут без программиста, первые 7 дней бесплатны, тариф начинается от 2 990 ₽/мес. Как собрать сам сценарий, мы разбираем в материале про скрипт для робота, а оценку эффекта обзвона — в статье про измерение эффекта обзвона.
7 дней бесплатно, без карты. Подключение к вашему номеру за 15 минут.