Три цифры в отчёте, которые обычно читают неправильно

Заказчик как-то написал мне через час после того, как получил отчёт: «43% click rate — это же провал, у нас треть компании кликает по всему подряд». Открываю тот же отчёт — и вижу, что реальная картина заметно спокойнее того, что он себе нарисовал. Дело не в том, что он невнимательно читал. Дело в том, что три главные цифры отчёта совсем не так интуитивны, как кажутся на первый взгляд.

Click rate — это не «доля кликнувших от всех сотрудников»

Стандартная формула считает click rate от числа доставленных писем, а не от всей выборки. Если из 200 адресов реально дошло 180 (у остальных двадцати — устаревшие ящики, ошибки доставки), а перешли по ссылке 40 человек, click rate — это 40 от 180, то есть 22%, а не 20% от исходных двухсот. Разница небольшая, пока выборка большая и чистая. Но если в компании старый, неактуализированный список рассылки, знаменатель начинает заметно скакать от кампании к кампании — и сравнивать «в лоб» два click rate из двух разных волн становится некорректно, если не проверить, из чего они на самом деле посчитаны.

Open rate почти всегда занижен — и это не про невнимательность

Факт открытия письма технически фиксируется загрузкой трекингового пикселя — крошечной невидимой картинки внутри письма. Многие почтовые клиенты по умолчанию блокируют автоматическую загрузку изображений, пока пользователь сам не нажмёт «показать картинки». То есть часть людей открыла и прочитала письмо, но в отчёте это никак не отразилось — просто потому, что их почтовый клиент вежливо промолчал. На моей практике open rate почти всегда занижен относительно реальности процентов на 15–25, и я честно пишу это ограничение в разделе методики, а не делаю вид, что цифра точная.

Report rate ниже click rate — тревожнее, чем сам click rate

Вот на что действительно стоит смотреть в первую очередь, и что чаще всего пропускают. Если у компании click rate 30%, а report rate (доля тех, кто сообщил в ИБ о подозрительном письме) — 8%, разница между этими двумя цифрами говорит больше, чем каждая из них по отдельности. Она означает, что канал эскалации либо не работает, либо о нём никто не помнит в момент, когда это нужно. Компания с click rate 40% и report rate 35% в реальности устойчивее той, что дала 25% и 3%: во втором случае почти никто не сработал как «второй рубеж защиты» после того, как первый — внимательность — уже подвёл.

Что с этим делать при чтении отчёта

Не сравнивайте click rate с интуитивным ощущением «сколько процентов — это плохо». Сравнивайте его с report rate из того же отчёта и с click rate предыдущей кампании при том же объёме выборки. Разница между «доставлено» и «выборка» — это гигиена списка рассылки, а не результат обучения. И если open rate кажется подозрительно низким на фоне высокого click rate — это не парадокс, это подтверждение, что часть аудитории просто блокирует картинки по умолчанию.