Редакционные метрики Mail.Ru: как мы оцениваем работу редакции

Мы рассказывали о своем подходе к оценке работы редакции:
– смотреть не на просмотры страницы, а на конверсию посетителей в читателей;
– ориентироваться не на ощущение «крутости темы» у редакции, а на данные по доскроллам и времени вовлечения.
Давайте посмотрим на примере контентных проектов Mail.Ru, как организован сбор статистики и интерпретация полученных данных, а на закуску — разбор кейсов. Тем, кто в фокусах больше всего любит разоблачение, лучше пропустить теорию и перейти сразу к практической части.

Какие данные собирать

Для оценки качества редакционных материалов мы используем две важнейшие метрики:

  • воронка доскроллов;
  • время чтения материала.

Вот так расположены на странице счетчики, которые собирают эти данные:

metrica-doskrollov

Как это работает: представим пользователя, который дочитал статью до середины, а затем ушел со страницы — его активность зафиксируют первые два счетчика, на третьем произойдет «отвал» (человек не добрался до него и не был засчитан). Так собираются данные по доскроллам страницы. Они необходимы, чтобы оценить вовлеченность человека и место, где он потерял интерес и ушел.

Подсчитав, сколько времени пользователь провел в частях Время 1, Время 2, Время 3, получаем данные о времени чтения. Если данные о доскроллах говорят, сколько информации посетитель увидел на странице, то «время вовлечения» позволяет оценить глубину погружения, что он читал/смотрел, а что пролистал.

Чтобы определить интересы читателей, дополнительно фиксируется:

  • количество просмотров материала;
  • количество шар (с разбивкой по соцсети + сумма);
  • количество просмотров из соцсетей;
  • количество просмотров из поиска.

Из количественных данных выводим качественные показатели:

  • Коэффициент виральности aka share ratio (количество шар материала/количество просмотров материала х 100). Этот коэффициент показывает, сколько человек, взаимодействуя с текстом, сочли его достаточно интересным/полезным, чтобы поделиться им в соцсетях.
  • Возвраты из соцсетей aka social engagement (количество шар материала/количество просмотров из соцсетей). Смотрим, сколько кликов принесла одна шара и оцениваем, насколько заголовок/тема материала были интересны пользователю соцсетей, и сколько человек, увидев ссылку в ленте, решили перейти по ней.

Что такое медиана и зачем она нужна?

Чтобы проанализировать собранную статистику, нужен параметр, который определял бы «водораздел».

Например, больше всего просмотров в июне на проекте Авто собрала статья «Важные изменения в ПДД — уже завтра» — 700 000. Меньше всего — «Иссык? Cool! В Киргизию — на «Соболях» и аэростате», 45 000. Тут все понятно, а как оценить посещаемость материалов, расположившихся между первым и последним (а их за этот месяц на проекте вышло 29)? Статья «Toyota Camry: «Волга» XXI века» набравшая 340 000 просмотров это хороший результат или плохой?

Тут на помощь приходит медиана — это точка отсчета, водораздел: все, что ниже медианы, оценивается как плохой результат. То, что проходит в районе медианы — как результат посредственный.

Медианой по проекту Авто в месяц публикации этих материалов было 150 000 просмотров. Исходя из этого материал про Волгу со своими 340 000 показами показал хороший результат, а те, что не смогли собрать 200 000 просмотров или собрали меньше 150 000 — посредственный и плохой, соотвественно.

Почему нельзя использовать среднее значение?

Среднее арифметическое подвержено влиянию экстремумов, пара провальных или фееричных материалов, и вот «водораздел» пополз вверх или вниз. Задирая, или наоборот, снижая планку оценивания.

Пример. Те же «Важные изменения в ПДД — уже завтра» собрали рекордное за месяц количество репостов в соцсети — около 10 000 (для сравнения, второе место занял текст «Новый грузовик «Урал-Next» с 1 000 шар). Этот рекордный показатель делает параметр — «среднее количество шар материала за июнь» непригодным к использованию, сильно завышая его значение: в среднем у материала на проекте 585 шары (в предыдущем месяце — 259). Медиана же за месяц составила 98 шар (в предыдущем месяце — 134).

Перейдем к практическим кейсам.

В поисках «интересов»

Начнем с простого — анализа тем с целью найти «интересы аудитории». Для этого мы составляем и анализируем топ/антитоп по таким параметрам: просмотры, коэффициент виральности, возвраты из соцсетей.

  • Просмотры: показывает интерес к теме и то как сработал/не сработал заголовок статьи.
  • Коэффициент виральности: отражает интерес аудитории к заявленной теме. Анализ этого параметра помогает вывести «кванты» — общественно приемлемые темы, которые интересуют сейчас ваших читателей.
  • Возврат из соцсетей: анализируем, как работаем тема, а также качество работы редакции над анонсом.

Тут есть интересный нюанс, который нужно учитывать: показатель «просмотры» указывает на личный интерес к теме. «Коэффициент виральности» — очерчивает общественно приемлемые темы: чем человек готов делиться с окружающими и за что ему «не стыдно».

Просмотры

Составив списки лучших и худших статей, можно увидеть, какие материалы «выстрелили», а какие провалились. Системная работа с «топами» и «антитопами» развивает у редакции осознанность в выборе тем. Это уже не «чутье», а решение принятое исходя из статистических данных об интересах аудитории.

Топ-5 материалов по просмотрам за июнь:
prosmotry-tem

Обратите внимание: заголовки или «полезные», или «зрелищные». Это паттерн. Так стоит продолжать.

Антитоп-5 материалов по просмотрам за июнь:
antitop-tem

В мае и июне редакция проекта Авто опубликовала серию материалов в жанре «роуд-муви»: тест автомобиля + отчет о поездке + советы, как организовывать длинные автопутешествия. Для лета 2015, казалось бы, самое то. Но нет. Материалы заняли места в антитопах по просмотрам, при том, что маркетинговые усилия, направленные на прокачку статей, сравнимы с другими редакционными материалами. Это повод для глубокого анализа причин, разобраться с пользовательским спросом на формат за длительный период.

И, очевидно, стоит поработать с заголовками, делая их «полезнее».

«Коэффициент виральности» и «Возвраты из соцсетей»

Репосты в соцсети, что логично, напрямую зависят от количества посещений (но — отметим, забегая наперед — не связаны с количеством прочтений). Вот, например, топ-5 проекта Авто Mail.Ru за июнь:

Сортировка по столбцу «шары» Сортировка по столбцу «шары»

За исключением материала «История „Крузака“» связь между количеством шар и просмотров очевидна.

Чтобы убрать наводку, мы используем целый ряд инструментов. Расскажем по порядку:

  1. Для сбора топа и антитопа материалов (для последующего их анализа) используем коэффициент share ratio (количество шар материала/количество просмотров материала х 100).
  2. На этом же этапе введем первое условие — материалы, у которых репостов в соцсети меньше, чем медиана шар (в нашем случае это 98), не проходят.

Топ стал выглядеть иначе:
Сортировка по столбцу “Share Ratio” Сортировка по столбцу “Share Ratio”

Как видим, диспозиция изменилась, первое место в топе сохранил материал «Важные изменения в ПДД» (выведем его за рамки как аномалию), на втором появился «Все о гибридах», далее материалы из топа по количеству шар, но на новых позициях.

3. В глаза бросается количество просмотров материала «Все о гибридах» — 51 032, на такой малой цифре он и получает свой высокий коэффициент. Сверимся с медианой показов (=150 000), показатели материалов из топа не могут быть ниже. А для того, чтобы удалить аномально успешный материал про ПДД, укажем планку по количеству шар. Вводим эти условия и получаем новый ранжир:

Сортировка по столбцу “Share Ratio” Сортировка по столбцу “Share Ratio”

Но и в нем есть что улучшить: например, на пятом месте материал «Куда деть старые шины?» со 159 просмотрами из соцсетей — это подозрительно мало.

4. Сверимся с медианой по просмотрам из соцсетей (=200) и введем еще одно, на этот раз финальное условие в формулу, отрезав материалы не прошедшие по этому параметру:

Сортировка по столбцу “Share Ratio” Сортировка по столбцу “Share Ratio”

Для всестороннего анализа создадим топ по параметру «возвраты из соцсетей» (social engagement):

Сортировка по столбцу “Social Engagement” Сортировка по столбцу “Social Engagement”

Теперь к разбору. В данном анализе нас интересует то, как сработал заголовок, почему материал расшарили, и как сработал снипет в соцсети (или не сработал).

«История Крузака»: первое место по коэффициенту расшаривания, а по переходам из соцсетей — сильно проигрывает финалистам. Почему? Неинтересный заголовок — причина слабого вовлечения пользователей из соцсетей.

«7 направлений самого безумного тюнинга в Японии» доказывает как важен заголовок для снипета в соцсетях — возврат около 6 человек с одного репоста в соцсеть (см. столбец Social Engagement).
Что хорошо:
Числительное в заголовке — заранее определяет для читателя, сколько будет разделов в материале. Слова «самый« и «безумный» — продают. «Япония» — определяет группу заинтересованных.
Что плохо:
Иллюстрация в шаре (og image) не очень, возможно, с другой переходов было бы больше.

«Новый грузовик «Урал-Next». Прорыв, которого не ждали»
Что хорошо:
Удачный заголовок. «Новый», «прорыв», «не ждали» — продает.
Ироничный подзаголовок «Чего только русские не придумают, чтобы дороги не строить!». «Русские» — определяет группу заинтересованных.

«Разбор ситуаций на дороге: почему опережение по обочине — это глупо»
Что хорошо:
Хороший заголовок. «Разбор ситуаций» определяет типологию материала. «Почему» — анонсирует объяснение.
Что плохо:
Подзаголовок «Езда по обочине вообще против правил. А попытка опередить по ней другой автомобиль вдобавок опасна для здоровья людей и техники» — капитан очевидность, и плохо вовлекает читателя, стоит поработать над этой составляющей.

«Как измеряют расход топлива»: много просмотров, мало шар. Почему? Посмотрим на материал: длинный лид, потом два абзаца текста, в которых глазу не за что зацепиться, затем видим иллюстрацию того, как проходят промышленные замеры экономичности машин. Скучно, и разочаровывает, что материал не по теме: заголовок обещал что-то полезное, даже с легким намеком на лайфхаки. Пользователь ушел, не став читателем. Больше так не делаем.

Вовлеченность — самый жир

Есть аналитический срез в редакционных метриках, перед знакомством с которым редакторам стоит выпить пустырника. Это статистика по доскроллам. Данные показывают, сколько посетителей редакция сумела увлечь материалом, конвертировав их в читателей.

Начнем с анализа среза неудачных материалов, в которых посетители не добрались и до середины.

Важно отметить, что в текущий момент на текстах наших контентных проектов расположено 4 счетчика (схема приведена выше), но в июне, который взят для примера, их было три — первый в начале страницы, второй в ее середине и третий в конце.

vovlechennost

Все о гибридах: как они устроены и какими бывают.
Причина отвалов: инфографика и схематизм (графика, трудно поддающаяся пониманию обывателя). Материал написан для подготовленного читателя, а те, кто хотел научпопа и легкого стиля, не нашли искомого.

Системы автоматического торможения. Видеоликбез
Причина отвалов: текст не имеет структуры, нет подзаголовков, которые удерживали бы внимание. Заголовок обещает читателю знакомство с неким спектром «систем автоматического торможения», но чтобы это сделать человек должен целенаправленно читать текст.

Рус, Чех и Лех. Необычное путешествие по Европе
Причина отвалов: как мы писали выше, формат «роуд-муви» этим летом не идет. И с маркетингом не ладится, на материал плохо переходят, и с вовлечением не очень.

Читатель плохо реагирует на недостаточно структурированные тексты с большим количеством иллюстраций, которые отвлекают от нарратива и приводят к потере фокуса.

Этот вывод подтверждается материалами с высокой вовлеченностью читателей:

vovlechennost2

Лучшие кроссоверы за 1,5 миллиона рублей
Это подборка, так что она априори хорошо структурирована, кроме этого в иллюстрациях выдержан метод подачи — фото экстерьера/фото интерьера, по каждой модели без сбоев. Структура подачи, заданная со старта, не нарушается, читателю легко сохранить фокус.

Разбор ситуаций: почему опережение по обочине — это глупо
В материале нет подзаголовков, зато он изобилует остросюжетными видео, которые вовлекают аудиторию.

Реквием по автомобильному изобилию
Статья понятно отформатирована — по классам автомобиля, кроме этого в структуре постоянно выделяются конкретные модели, и это при беглом прочтении текста позволяет задержать внимание пользователя.

Смотрим глубже. Более качественную оценку вовлеченности читателя получаем, оценивая «отвал» пользователей между вторым и третьим скроллом. Здесь мы видим материалы, которые пользователи просмотрели до середины — а затем ушли:

vovlechennost3

Куда деть старые шины?
Причина отвалов: скучный список в конце.

Как измеряют расход топлива?
Причина отвалов: заголовок обещает ответ на вопрос, а на деле приходится погружаться в технические дебри; слабая работа с иллюстративным материалом — непонятные графики.

История крузака
Причина отвалов: перегруз большими иллюстрациями, зачастую занимающими целый экран, длинный текст.

Статус-кво. Тест обновленных Hyundai Solaris и Kia Rio
Причина отвалов: материал избыточно описывает детали, в какой-то момент стиль изложения утомляет, становится ясно что так будет до финала. Текст неструктурирован, нет подзаголовков, расфокусировавшись читатель не может начать сканировать текст, ему не за что зацепиться.

Системы автоматического торможения. Видеоликбез
Абсолютный лидер по читательским отказам в этом месяце, главная причина — материал неструктурирован.

Итого: что делать, чтобы материал лучше читали

  • Разбивать статью на подзаголовки (на мобильных хорошо работают транзитивные).
  • Длинные тексты верстать с использованием цитат, врезок, выделением курсивом или жирным шрифтом.
  • Писать емче и короче.
  • Если пишем о серьезных вещах (например, о расходе топлива), делать это в научно-популярном стиле. Тут сработали бы приемы объяснительной журналистики и иная структура подачи материала.
  • Если тему никак не рассказать коротко, стоит разбить ее на серию, и выпускать в виде коллекций (пример коллекций на Авто Mail.Ru — «Загадки советского автопрома»).

Обсуждение закрыто.

Подпишись на рассылку

Рассылка Безумных Котиков интернет-маркетинга, спонтанная, субъективная, обо всем.
Email *
Имя *
Нажимая кнопку «Сохранить», вы подтверждаете, что ознакомились с Условиями обработки персональных данных и принимаете их.