Компании с устоявшейся аудиторией до запуска рекламы проводят А/В-тестирование и формируют гипотезы о том, что именно привлекает клиента. Без качественных тестов запустить эффективную рекламу не получится. Чтобы не слить рекламный бюджет, используют репрезентативную выборку. В этой статье разберем, что это такое, как с ней работать и какие трудности появляются при ее расчете.

Что такое репрезентативная выборка

Такая выборка должна отражать все характеристики ЦА

А/В-тестирование — это инструмент, с помощью которого можно сравнить два варианта рекламного объявления или части сайта, отличающиеся одним параметром.

Например, у нас есть рекламное объявление. Мы хотим протестировать другой вариант заголовка. Берем небольшую выборку нашей ЦА (20%) и меняем для них заголовок. Для оставшихся 80% оставляем все как было. Затем наблюдаем и анализируем конверсию. Именно так можно проверить, работает наша гипотеза или нет.

Теперь разберем репрезентативную выборку на примере. Вы решили запустить таргетированную рекламу для своего интернет-магазина товаров для туризма. Объявления направлены на пользователей или покупателей сайта.

ЦА интернет-магазина — 5500 пользователей. Проводить тесты для такой большой аудитории затратно и занимает много времени, поэтому нужно сделать репрезентативную выборку.

К примеру, 38% вашей аудитории — женщины, а 62% — мужчины. Маркетолог вычислил, что для тестирования нужно 150 пользователей, среди них будет 57 женщин и 93 мужчины. При соблюдении этой пропорции — это пример репрезентативной выборки.

Сегментирование по полу сделано для примера. ЦА можно делить по разным параметрам: возраст, местоположение, образование, профессия и многое другое. Оценка репрезентативности выборки осуществляется на основе всех характеристик ЦА.

Выборку используют для анализа, насколько результативной будет реклама при запуске полноценной кампании. С ее помощью можно прогнозировать результат.

Выборка в тестах: зачем считать и что влияет на результаты

На начальном этапе необходимо проводить А/В-тесты, а только потом запускать рекламу. Это помогает определить вариант рекламного объявления, который сработает и принесет результаты. Можно менять каждую часть объявления: заголовок, текст, изображение, кнопки и даже торговое предложение. Цель такого исследования: найти лучшую версию объявления или сайта, который повысит продажи.

Почему тестирование не дает результатов:

Не хватает данных. Чтобы принять решение, нужно соответствующее количество информации. Нельзя проанализировать эффективность рекламной кампании, которая подключена один день и получила пару кликов.

Составили неверную гипотезу. Например, мы решили изменить заголовки рекламного объявления в процессе тестирования. Запустили несколько вариантов объявлений, а конверсия не изменилась. Поэтому необходимо вносить более глобальные изменения: поменять креатив, изменить цену, указать промокод.

Выбрали не ту метрику. Результат может быть достоверный, если ориентироваться на улучшение одной метрики. Например, поставлена цель — увеличить конверсию рекламного объявления. Поменяли заголовок, запустили тест — увеличилось CTR, а конверсия не изменилась. 

Многие онлайн-сервисы делают расчет размера выборки, опираясь на конверсии. Если информации по этому показателю не хватает, можно использовать другие. Например, сервис MindBox делает расчеты на основе CTR. В качестве метрики он в основном использует:

• open rate — соотношение писем, которые открыли, к тем, которые доставлены;

• conversation rate — соотношение конверсий ко всем пользователям, которые посещали сайт.

Сервис рассчитывает необходимое количество человек в выборке при тесте Open Rate, если текущий показатель — 20%, прогнозируемый прирост — 3%, количество тестов — 2.

Как определить размер выборки

Существует несколько онлайн-инструментов, чтобы точно рассчитать размер выборки. Рассмотрим расчет методом SurveyMonkey:

1. Определите совокупную ЦА. Если у вас нет точных данных о ее приблизительном размере, вам поможет сервис myTarget. Сервис на основе трафика вашего сайта и характеристик вашей ЦА определит диапазон ее размера.

2. Установите точность теста. Чтобы получить достоверные данные, установите предельный уровень погрешности в размере 1-5% и показатель доверия от 95%.

3. Определите размер выборки, используя сервис SurveyMonkey. В таблице сервиса выбираем показатель, соответствующий размеру ЦА и установленным показателям погрешности и доверия.

Далее самостоятельно:

• Рассчитываем среднюю конверсию на основе прошлых компаний, берем ее за ожидаемую для расчетов.

• Узнаем количество пользователей, которым нужно показать нашу рекламу, чтобы был значительный результат. Для этого размер выборки нужно разделить на прогнозируемую конверсию.

Как составить репрезентативную выборку

Для составления выборки нужно создать точный портрет ЦА. Для удобства анализа вашей аудитории можно разбить ее на сегменты. Но стоит удостовериться, что в состав выборки вошли все представители сегментов в нужном процентном соотношении. 

Размеры сегментов обычно не равны между собой. Например, в блоге магазина автомобильных запчастей 9000 подписчиков: 8850 мужчин и 150 женщин. Здесь можно добавить только мужчин, так как женщин меньше 2%.

Инструмент QuestionStar на основе введенных показателей рассчитает количество участников выборки.

Пример расчета репрезентативной выборки сервисом QuestionStar 

Основные сложности в тестах при расчете выборки

Маленький охват и отсутствие нужного количества переходов. Чтобы получить достоверную статистику для тысячной ЦА, требуется выборка приблизительно из 500 человек. Если у объявлений меньше переходов — тестирование теряет объективность. Чтобы этого не случилось, можно сократить выборку. Для этого нужно снизить в расчетах уровень доверия. Этот показатель не может быть ниже 80%, иначе расчеты будут недостоверные. 

Неподходящий бюджет. Если средства ограничены, не получится тестировать каждое изменение в объявлении. Поэтому лучше сравнивать разные объявления целиком, а не точечные изменения. Если бюджет большой, то масштабное тестирование может занять много времени.

Узкая тема. Поисковых запросов для узкой ниши очень мало. Поэтому низкий трафик.

Пример нарушения репрезентативности

Рассмотрим следующий пример: интернет-магазином подарков пользуются мужчины и женщины в возрасте 20-60 лет. Предположим, что они поделены по возрасту на три части: 20-35, 35-45, 45-60. Если размер выборки — 100 человек, 50 из которых женщины 35-45 лет, выборка является нерепрезентативной. Так как нарушено процентное соотношение. 

Обращайте повышенное внимание на то, чтобы в выборке были люди из вашей ЦА, тогда результат тестирования будет более информативным.

Выводы: как рассчитать репрезентативную выборку

• Запастись временем. Чтобы получить достоверный результат, понадобятся тысячи просмотров. Приемлемым временем для этого считается две недели. Вносите глобальные изменения, чтобы были ощутимые улучшения показателей.

• Следовать четкому плану. Точно определите вашу ЦА, чтобы реклама принесла результаты. Если таргет настроен неверно — это повлечет убытки.

• Соблюдать правила подсчета выборки. Не забывайте про уровень достоверности данных, он должен быть не ниже 95%.