Второй тест почти всегда даёт другие цифры

После первой волны у одной компании click rate был 38%. Через три месяца, после обучения, заказчик ожидал увидеть падение до 20 с небольшим — и увидел 6%. Обрадовался, разослал результат в отчёте руководству как доказательство эффективности программы. Я его слегка расстроил: часть этого падения — не заслуга обучения, а побочный эффект того, что вторая рассылка в принципе устроена иначе, чем первая. И если не учитывать это, следующий тест снова удивит — но уже в обратную сторону.

Люди предупреждают друг друга — и это не про выученный навык

Первое, что рушит чистоту сравнения: сарафанное радио внутри компании. После первой волны кто-то обязательно расскажет коллегам «у нас там подозрительное письмо от IT было, это проверка была». К моменту второй рассылки часть сотрудников насторожена не потому, что усвоила общий принцип «проверяй домен отправителя», а потому что конкретно помнит: «сейчас, наверное, снова тест». Это не навык, который перенесётся на реальную атаку через полгода — это временная бдительность, привязанная к контексту «нас снова проверяют».

Второй сценарий обычно проще первого — иногда незаметно для самого исполнителя

Если в первой волне был сложный адресный сценарий (уровень «spear», под конкретную специфику компании), а во второй — типовой массовый шаблон, сравнивать голые цифры некорректно даже в теории. Сложность сценария — это отдельная переменная, которая должна быть зафиксирована так же явно, как дата рассылки. Про это же — гарантия, которую я даю в договоре: контрольная повторная рассылка меряется именно на снижении при сопоставимой сложности сценария, а не на любом падении цифры вообще.

Отпуска, увольнения и текучка тоже меняют знаменатель

Между первой и второй волной часть выборки могла смениться: кто-то уволился, кто-то в отпуске и письмо просто не открыл вовремя, наняли новых людей, которые вообще не проходили обучение по итогам первой волны. Формально это уже не совсем та же группа, хотя в отчёте оба раза стоит одно и то же название компании.

Что стоит делать вместо радости от одной цифры

Смотреть не только на click rate, но и на report rate в динамике — рост доли тех, кто активно сообщает о подозрительном письме, куда устойчивее как индикатор реального прогресса, чем падение доли кликнувших, потому что report rate меньше подвержен эффекту «все помнят про недавний тест». И держать сложность сценария сопоставимой между волнами — иначе сравнение двух чисел превращается в сравнение яблок с невероятно бдительными грушами.