Бесконечные A/B-тесты

Бесконечные A/B-тесты — это аутсорс роста CTR. Вы добавляете артикул, а дальше сервис сам создаёт креативы под присмотром дизайнера и непрерывно тестирует их на ваших карточках, всегда пытаясь побить текущего победителя. Цикл не заканчивается: нашли лучшее фото — ищем то, что лучше него. Вы просто смотрите на график роста CTR.

Как это работает — по шагам

1. Добавляете артикул и подключаете токен. Больше ничего загружать не нужно — исходники и референсы не требуются.
2. За ~10 минут сервис анализирует ваш товар и поисковую выдачу и создаёт первые креативы под присмотром дизайнера.
3. Креативы выходят в ротацию вместе с вашим текущим фото. Тест идёт в те моменты, когда у вас включена реклама.
4. Цикл дуэлей: ~12 кругов ротации → фиксируем победителя на 5 дней → следим за конверсией → на 6-й день на основе победителя делаем нового претендента → снова дуэль. За месяц тестируется 9–15 фото.
5. Вы смотрите на график роста CTR. Любой вариант, который не нравится или искажает товар, удаляете в один клик.

Не загружайте свои фото и референсы

В основном режиме рисовать и загружать ничего не нужно — креативы создаёт сервис. Свои фото можно докинуть в ту же карусель, и они протестируются наравне с нашими, но это не обязательно.

Частые вопросы

Про продукт

Что такое «бесконечные A/B-тесты»? Это аутсорс роста CTR. Вы добавляете артикул — дальше сервис сам создаёт креативы под присмотром дизайнера и непрерывно тестирует их на ваших карточках, всегда пытаясь побить текущего победителя. Цикл не заканчивается: нашли лучшее фото — ищем то, что лучше него. Вы просто смотрите на график роста CTR.

Чем это отличается от встроенного A/B-теста Wildberries? Нативный тест WB: только главное фото, только по подписке «Джем», и всего 5–10 тестов в месяц — варианты вы придумываете и грузите сами. У нас непрерывный цикл, а креативы создаём мы. WB даёт инструмент; мы делаем работу за вас.

Чем ручной A/B-тест отличается от бесконечного? В ручном вы сами добавляете фотографии. В бесконечном — выбираете артикул и запускаете, всё остальное за нами: создаём фото, тестируем, отсеиваем проигравших, а на основе победителей делаем новых конкурентов. Так у вас всегда сильное по CTR фото.

Нужно ли мне что-то делать или загружать? Нет. Достаточно добавить артикул. Сервис сам подтянет ваши офферы, описание и конкурентов и создаст креативы.

А если у меня есть свои фото или дизайнеры? Можете докинуть свои фото в ту же карусель — они протестируются наравне с нашими. Но в основном режиме рисовать ничего не нужно: креативы — наша работа.

Механика теста

Как сервис понимает, какие креативы делать? По артикулу он подтягивает ваши офферы, описание, текст на текущих фото и смотрит конкурентов в выдаче. На основе этого создаёт креативы под присмотром наших дизайнеров — такие, которые должны поднимать CTR.

Когда появятся первые креативы? Первые креативы — примерно через 10 минут после запуска.

Как устроен сам тест? Это вечная «дуэль» с текущим чемпионом: запускаем ротацию (~12 кругов) → фиксируем победителя на 5 дней → следим за его конверсией, и если что-то выглядит странно, сравниваем с другими → на 6-й день делаем нового претендента на основе победителя и проводим новую дуэль. И так по кругу. Мы всегда ставим победителя под сомнение — точно ли он ещё лучший — поэтому CTR растёт постоянно.

Что происходит за эти ~12 кругов? В течение кругов идёт отсев: как только по варианту набирается достаточно данных, чтобы уверенно сказать, что он проигрывает, мы его исключаем. Параллельно так же уверенно определяется победитель. То есть круги нужны, чтобы собрать достоверную выборку и не отсеять сильный вариант случайно.

Что такое «холодный старт»? При запуске теста вы увидите статус «Холодный старт» — это начальная фаза, пока по фото ещё не набралось достаточно показов. На малом количестве показов нельзя достоверно сказать, какое фото лучше: бывает, что вариант с самым низким CTR в начале после набора статистики становится победителем. Ориентир — около 12 кругов ротации: за это время набирается достоверная выборка. При этом если уже раньше мы с уверенностью ≥95% видим, что фото точно не выиграет, — мы исключаем его, не дожидаясь конца. Но до этого порога уверенности фото из теста не убираем.

Не торопитесь с выводами на старте

Если на первых показах кажется, что созданные фото проигрывают вашим, — это ещё ничего не значит. Мы используем несколько статистических методов и исключаем варианты только тогда, когда в этом можно быть уверенными. Дайте тесту пройти холодный старт.

Какие результаты теста я вижу? На экране теста показываются все фотографии и по каждой — метрики за всё время: показы, клики, заказы, добавления в корзину, CTR и CR. Так наглядно видно, какое фото лидирует. Есть и график динамики, по которому видно рост CTR — сравнение «было/стало». Отдельной разбивки «по кругам» нет: круги — это внутренняя механика отбора, а вам показываем понятный итог.

Сколько по времени идёт тест? Бесконечный тест на то и бесконечный — он идёт постоянно, пока вы его не остановите. Имеет смысл держать его включённым весь сезон: запустили — и дальше всё за вас делает сервис. Если же вы используете ручной A/B-тест, длительность выбираете сами.

Когда в ротации меняется главное фото? В бесконечном тесте смена происходит не по расписанию, а по количеству показов: фото меняется, когда наберётся достаточно показов для достоверного сравнения. Поэтому у разных артикулов и «темп» разный — он зависит от того, как быстро набирается трафик. В ручном тесте вы можете настроить смену гибко под себя.

Сколько фото тестируется? 9–15 фотографий в месяц.

Главные фото будут в едином стиле карточки или вразнобой? Вразнобой. Мы анализируем поисковую выдачу и стараемся сделать максимально «CTR-ное» фото, а не выдержать единый стиль.

Где смотреть рекомендации, как доработать фото? В бесконечном тесте дорабатывать фото самостоятельно не нужно — это и есть наша работа: на основе данных теста сервис под присмотром дизайнера сам делает следующий, более сильный вариант. Отдельных «рекомендаций по доработке» для вас нет — вы смотрите на график CTR и видите, какой вариант выигрывает.

Продажи не просядут во время теста? Нет. Карточка всё время рабочая — покупатели видят живые варианты, а вы узнаёте, какой приносит больше переходов и заказов.

Реклама

Нужна ли активная рекламная кампания? Да. Тест запускается и идёт только когда реклама активна.

Реклама должна работать постоянно весь месяц? Нет. Тест работает в те окна, когда реклама включена. Если она у вас идёт, например, 10–12 часов в сутки — тест просто идёт в эти часы.

Имеет ли значение вид рекламной кампании? Нет, тип рекламной кампании не важен.

А если реклама работает всего 30–40 минут в день? Тест будет идти в эти окна, а когда реклама неактивна — автоматически встанет на паузу и продолжится, когда она снова включится. Чем больше реклама работает, тем быстрее набираются показы и тем быстрее идут круги.

Будет ли тест работать с товарами на FBS? Да, тест работает нормально и на FBS. Для всех фото в тесте условия одинаковые, так что результат показывает именно разницу между фото.

Вы будете писать, когда запускать рекламу? Нет, отдельных уведомлений нет. Тесты проходят в моменты, когда реклама уже включена, — вам нужно лишь периодически её запускать.

Подключение, права и безопасность

Как добавить токен?

1. В SellerAlert нажмите на название вашего кабинета в правом верхнем углу и выберите + Добавить кабинет — откроется форма подключения.
2. Зайдите в кабинет Wildberries: seller.wildberries.ru/api-integrations, раздел «Интеграции по API», и нажмите + Создать токен.
3. Перейдите на вкладку «Для сервиса из каталога» и выберите Seller Alert.
4. Проверьте категории доступа (см. вопрос ниже) и уровень доступа «Чтение и запись», затем нажмите Создать.
5. Скопируйте токен, вернитесь к форме в SellerAlert, вставьте его в поле «API токен» и нажмите Добавить.

Пошаговая инструкция со скриншотами — в Быстром старте.

Токен действует 180 дней

По истечении 180 дней токен нужно перевыпустить и снова добавить в сервис.

Какие права и данные использует сервис и зачем? Сервис работает исключительно с официальной документацией API Wildberries — это позволяет безопасно получать данные и соблюдать правила оферты. Сервис использует API-ключ с правами на редактирование, но ваши данные в безопасности: выполняются только операции, необходимые для работы, без несанкционированных изменений в кабинете или товарах, и все действия прозрачны и контролируются вами.

Какие методы и зачем:

• Контент — чтобы менять фотографии в ваших A/B-тестах.
• Маркетплейс — чтобы получать данные о ваших товарах и карточках для работы тестов.
• Аналитика — чтобы подтягивать аналитику по товарам и показывать её в удобном виде.
• Продвижение — чтобы собирать статистику по рекламным кампаниям и помогать понять, что работает лучше.
• Статистика — чтобы строить воронку продаж и видеть, на каком этапе теряются покупатели.
• Вопросы и отзывы — чтобы получать отзывы и считать метрики, которые напрямую влияют на конверсию карточки.

Можно ли дать токен только на контент и продвижение? Нет. Без полного набора доступов из списка выше сервис работать не будет — каждый из них нужен для конкретной части работы теста и аналитики. Урезанный токен не позволит запустить тест.

Можно ли пользоваться сервисом с телефона? Сейчас сайт рассчитан на работу с компьютера и под мобильные пока не адаптирован. Подключение и запуск теста удобнее делать с ПК.

Контроль фото

Что делать, если фото не нравится или искажает товар? Вы можете удалить любой вариант, который считаете плохим, — в один клик. Финальное решение, какие фото участвуют, всегда за вами. Но не торопитесь: важно, чтобы фото нравилось не вам, а покупателям. Часто вариант, который селлеру кажется слабым, по CTR обгоняет «красивые» фото. Лучший судья — статистика теста, а не личное впечатление.

Созданные фото отличаются от моих и от конкурентов — это нормально? Да, это намеренно. Сервис анализирует выдачу не для того, чтобы повторить за конкурентами, а чтобы выделиться на их фоне — именно непохожее фото чаще набирает больше CTR. Поэтому, например, если у всех фото «на окне», сервис может намеренно сделать без окна. Цель — клики, а не единообразие с конкурентами.

Можно ли добавлять свои фото в тест? Да, но только свои дизайнерские фото на старте — они будут участвовать в тестировании на равных с нашими креативами. Это опционально.

Добавить фото можно только в начале

После запуска теста добавлять новые фото нельзя — можно только исключать варианты. Поэтому если хотите протестировать свои дизайнерские фото, загрузите их сразу, на старте.

Сколько фото участвует на старте и как они набираются? В тесте на старте всегда участвует 5 фото. Всегда берётся текущее фото с вашей карточки, плюс те, что вы приложили сами, а недостающие до 5 создаёт сервис. Например: 1 фото с карточки + 1 ваше → мы создадим ещё 3. Если приложите сразу 4 своих — дополнительные мы создавать не будем, наберётся ровно 5.

В каком виде участвуют мои загруженные фото? В том виде, в котором вы их загрузили. Это должны быть готовые слайды с вашей инфографикой, а не исходники товара — сервис их не дорабатывает и не наносит инфографику. Не загружайте их как «референс»: они идут в тест как есть.

Если удалить созданный вариант — появится новый вместо него? Нет. При удалении варианта новый на его место не создаётся — в тесте просто становится на одно фото меньше. Поэтому удаляйте только то, что действительно не должно участвовать.

Исключение фото пока необратимо

Если вы исключили вариант, вернуть его обратно в текущий тест пока нельзя. Возможность вернуть исключение мы планируем добавить позже.

Результаты

Что я в итоге получу? Постоянно растущий CTR и уверенность, что в карточке сейчас стоит лучшее из протестированных фото. Наглядно — график роста CTR и таблица метрик по каждому фото (показы, клики, заказы, корзины, CTR, CR).

Какой прирост можно ожидать? По данным самого Wildberries, A/B-тесты в среднем поднимают CTR в 1,5 раза, а конверсию в покупку — на 19%.

Не испортит ли тест показатели моей карточки? На время теста метрики могут немного колебаться — это нормальная часть процесса. По нашему опыту, если вернуть прежние фото («до»), показатели возвращаются к тем же значениям. Если переживаете за топовую карточку — начните со второстепенного артикула и посмотрите, как работает сервис, без риска для локомотива.

А если у меня мало трафика? Тогда круги идут дольше, пока не наберётся достоверная выборка. Но именно при дорогом трафике важнее всего не терять клики на слабом фото.

Фото должны постоянно обновляться? У меня они «стоят» несколько кругов. Это частое недопонимание. Смысл сервиса не в том, чтобы постоянно менять фото, а в том, чтобы находить новое фото, которое лучше предыдущего. Если текущий лидер пока никто не побил — он и остаётся, это нормально. Как только появится вариант с более высоким CTR, он займёт место лидера. Такие дуэли идут непрерывно весь месяц, поэтому CTR держится «в тонусе».

Я вижу, что один из вариантов уже обгоняет моё исходное фото — это и есть результат? Да. Если на графике видно, что какой-то вариант стабильно набирает CTR выше вашей оригинальной обложки — тест уже приносит пользу. Дальше сервис будет пытаться побить и этого лидера.

Ручной A/B-тест

Кроме бесконечного, есть ручной A/B-тест — там вы сами добавляете фото и настраиваете смену вариантов. Он бесплатный. Подробнее — на странице Ручные A/B-тесты.

Оплата

Сколько стоит? Платный только бесконечный тест — 3750 ₽ в месяц за один артикул. Ручные A/B-тесты бесплатны. Это фиксированная цена за артикул — в следующем месяце она не удваивается. Актуальный тариф и возможные скидки всегда видно в сервисе при подключении; об изменениях цены мы сообщаем отдельно.

Деньги спишутся автоматически в следующем месяце? Нет, автосписания нет. Оплата разовая — за месяц по артикулу. Когда месяц закончится, тест по этому артикулу остановится; чтобы продолжить, нужно оплатить заново вручную.

Куда пополнять баланс? Баланс пополняется в самом сервисе на app.seller-alert.com — это не баланс рекламной кампании в кабинете Wildberries. Для запуска бесконечного теста на балансе сервиса должно хватать средств на тариф; рекламная кампания при этом просто должна быть активна во время теста.

Можно ли оплатить по счёту на организацию? Да. Мы можем выставить счёт на юридическое лицо — напишите в поддержку, пришлите карточку организации и укажите, на сколько артикулов нужен счёт. Счёт выставляется сразу минимум на 3 артикула.

Можно ли поменять артикул в рамках уже оплаченного теста? Нет. Оплата привязана к конкретному артикулу — креативы уже сделаны под него. Чтобы тестировать другой артикул, нужно оплатить отдельно.

Есть ли пробный период? Нет.

Отмена теста необратима

Если вы отменили тест, возобновить его не получится — об этом мы предупреждаем при отмене. Повторное создание фото в рамках текущего тарифа не предусмотрено. Чтобы начать заново с новыми фото, нужно создать новый тест — это отдельная оплата.

Можно ли вернуть деньги? Да, если ошибка произошла с нашей стороны — например, технический сбой. В этом случае мы вернём средства или пополним баланс, чтобы вы могли перезапустить тест.

А вот «мне не понравились фотографии» — не основание для возврата. То же касается ощущения, что «созданные фото сразу проигрывают» в первые дни (на холодном старте): на малом количестве показов результат ещё недостоверен, и его нужно дать тесту дособрать.

Поддерживается ли Ozon? Да, поддерживается. Механика та же, что и на Wildberries, отличается только подключение кабинета — как подключить Ozon.