Доказательства.
Сначала правда, потом вывод.

01 · Статусы

Шесть статусов, которые нельзя смешивать

Одинаково уверенно оформленные строки могут иметь совершенно разную доказательную силу.

Как статус меняется

Статус относится не ко всему документу, а к отдельному утверждению. В одном отчёте могут соседствовать факт о выручке, допущение о будущем бюджете, гипотеза о причине падения и решение провести проверку. Не окрашивайте весь документ словом «аналитика» — это скрывает различия.

1. Выпишите утверждение без пересказа и украшений.
2. Спросите, можно ли указать исходный файл, точное место, дату и способ получения.
3. Если можно, обозначьте границу факта: период, группу, единицу и ограничения.
4. Если нельзя, выберите честный статус: допущение, гипотеза, искусственный пример или «данных нет».
5. Отдельно запишите принятое решение и внешнее обещание: они не становятся фактами только потому, что их согласовали.

Пример. «В пяти разговорах клиенты пожаловались на долгую настройку» — факт о пяти разговорах, если у них есть записи. «Долгая настройка вызывает уход всех новых клиентов» — гипотеза. «Сократим настройку до одного дня» — решение или цель. «За один день вы точно получите результат» — обещание, для которого нужны полномочия и доказуемая способность выполнить.

Учебный материал тоже получает статус. Вымышленная компания, составной образ нескольких людей и искусственный набор данных могут быть полезны для тренировки. Их надо прямо подписать на каждом производном файле. Нельзя сначала назвать персонажа вымышленным, а в следующей презентации превратить его слова в «цитату клиента».

02 · Реестр

Каждому важному утверждению — адрес источника

Память команды не является надёжным источником данных.

1. Занесите утверждение дословно, без улучшения смысла.
2. Прикрепите исходный файл или неизменяемую ссылку, а не пересказ.
3. Отметьте расхождения с другими источниками отдельной строкой.
4. Если адреса нет — понизьте статус до гипотезы или «нет данных».
5. После решения запишите номера доказательств, которые на него повлияли.

Что считается точным адресом

Для таблицы это файл, лист, строка или условие отбора. Для записи разговора — имя файла и временная отметка. Для документа — версия, страница и абзац. Для сайта — прямая ссылка, дата просмотра и сохранённая копия, если содержание может измениться. Фраза «видела в системе» адресом не считается.

Исходник хранится отдельно от конспекта и производных выводов. Если файл обновился, старая версия не перезаписывается незаметно: у нового состояния появляется дата или номер версии. Иначе невозможно понять, на каких данных было принято прошлое решение.

Как вести противоречия и срок годности

1. Не выбирайте удобную цифру молча. Запишите оба значения и возможную причину расхождения.
2. Назначьте основной источник для конкретного показателя и объясните, почему именно он.
3. Укажите, когда факт устаревает: правило площадки может требовать повторной проверки через месяц, а закрытая выручка прошлого периода уже не меняется.
4. Свяжите решение с номерами доказательств. При их изменении станет видно, какие решения нужно пересмотреть.

Разобранный случай. В объёмном отчёте о конкурентах были указаны рынок в 1,8 млрд долларов, рост 28% в год, цены, доли, причины побед и поражений и обещание экономии 40%. При этом не было построчного списка источников, а характеристики конкурентов противоречили другим учебным файлам. Объём отчёта не исправил проблему. Для каждой цифры потребовались бы ссылка или сохранённая копия, дата, география, вид доказательства, уровень уверенности и назначение в решении. Внутренние причины побед и поражений должны подтверждаться системой продаж и разговорами, а не памятью модели.

03 · Целостность

Имя файла, содержимое и версия должны совпадать

Повреждённая привязка опаснее отсутствующего файла: кажется, что материал изучен.

Проверка по шагам

1. Сверьте опись. Ожидаемое имя, тип материала, размер, дата, длительность или число страниц.
2. Откройте исходник. Проверьте начало, несколько мест в середине и конец. Убедитесь, что звук, изображение и текст относятся к заявленной теме.
3. Сверьте производный файл. Расшифровка должна начинаться и заканчиваться там же, не менять язык и не пропускать большие участки без пометки.
4. Зафиксируйте версию. Для важных материалов сохраните контрольную сумму либо иной устойчивый признак файла.
5. Поставьте состояние. «Проверен», «частичный», «не открывается», «содержание не совпадает», «нужен оригинал».

Частичный источник не обязательно выбрасывать. Используйте только ту часть, границы которой известны, и не делайте выводов об отсутствующем содержании. Если две версии различаются, не соединяйте их в одну «лучшую» без журнала изменений.

Новая дата или цифра создаёт новую версию, а не «тот же пример»

Особенно опасны почти одинаковые отчёты. Если цитаты и структура совпадают, но дата исследования, показатель или цель изменились, один файл не подтверждает другой. Нельзя молча заменить январь октябрём, 44 процента — 38 процентами и продолжить ссылаться на те же пять разговоров. Либо появился новый набор данных с собственными основаниями, либо производный документ повредил происхождение.

1. Назначьте исследованию неизменяемый номер и дату проведения.
2. Свяжите каждый вывод с участником, точным фрагментом разговора или строкой исходных данных; доступ к личности ограничьте.
3. Сохраните контрольную сумму исходного набора, запрос расчёта показателя, дату наблюдения и версию определения.
4. При изменении цифры создайте новую версию с причиной, автором и перечнем затронутых выводов. Историческую дату не переписывайте.
5. Если происхождение новой цифры не восстановлено, пометьте её неподтверждённой и не используйте как доказательство рекомендации.

04 · Правила данных

До анализа договоритесь, что означает каждая строка

Большинство конфликтов метрик начинается до формулы — в разных определениях события.

Минимальные правила перед расчётом

1. Определите, что означает одна строка: человек, обращение, заказ, товар, платёж или отдельное событие.
2. Для каждого показателя запишите числитель, знаменатель и допустимые состояния. «Конверсия» без них не имеет единого значения.
3. Согласуйте правила личности и дублей: когда два обращения считаются одним человеком и что происходит при смене телефона или почты.
4. Укажите часовой пояс, валюту, налоговый режим, дату признания денег и окно, в котором результат относится к источнику.
5. Назначьте основной источник и способ сверки. Рекламная площадка, система продаж и банк отвечают на разные вопросы.
6. Ограничьте права на изменение определения и ведите историю версий.

Пример. Продажи называют сделкой подписанный договор, финансы — поступившую оплату, а маркетинг — переход в состояние «успешно». Все три числа могут быть посчитаны правильно и всё равно противоречить друг другу. В словаре показателей должны жить три разных события, а не одна колонка «сделки».

05 · Невозможные данные

Сначала проверки, которые должны обнулить доверие

Если исходные строки невозможны, вывод нельзя спасать красивой интерпретацией.

• Следующий этап воронки не может устойчиво превышать предыдущий без явно описанной логики возврата/объединения.
• Число уникальных пользователей не складывается как события.
• Выручка, годовой регулярный доход, ценность клиента, окупаемость и общий экономический эффект — разные величины.
• Проценты пересчитываются из исходных числителя и знаменателя.
• Суммы сверяются с источником денег, а состояния сделок — с системой учёта клиентов.
• Дубликаты, пропуски, отрицательные интервалы и события после даты выгрузки записываются в журнал проблем.

Порядок проверки

1. Посчитайте количество строк, уникальных объектов, пропусков и дублей.
2. Проверьте допустимые состояния и последовательность времени: рождение объекта не может происходить после оплаты, а отрицательная длительность требует объяснения.
3. Пересчитайте доли из исходных количеств. Не складывайте проценты групп с разным размером.
4. Сверьте деньги с независимым денежным источником, а состояния работы — с системой, где их фиксирует ответственный.
5. Сравните итог по частям с общим итогом и объясните остаток.
6. Разделите исправимые ошибки, неизвестные значения и допустимые исключения.

Пример. В отчёте 120 встреч при 100 обращениях. Это не обязательно ошибка: одно обращение могло привести к нескольким встречам. Но тогда показатель нельзя называть «переходом из обращения во встречу», пока единица и правило повторных встреч не описаны.

Разобранный расчёт. В недельных заметках 1 240 кликов по 0,38 доллара и 87 установок были сведены в стоимость установки 5,20 доллара. Пересчёт даёт расход 471,20 доллара и около 5,42 доллара за установку. Для другого канала 430 кликов по 0,21 доллара и 61 установка дают около 1,48, а не 3,44 доллара. Все эти значения были названы стоимостью клиента, хотя измерялись установки и не было данных об оплатах. До рекомендации увеличить бюджет нужно исправить арифметику, назвать правильную единицу и восстановить путь до денег.

Ещё один сигнал остановки. В карточке продукта 9,99 доллара были разделены на отток 0,09 и получено 38 долларов. Фактический результат такого деления — около 111 долларов; следовательно, и производное соотношение ценности клиента к стоимости привлечения было неверным. Одна арифметическая ошибка делает все следующие выводы непригодными до пересчёта.

06 · Исследование

Цитата без контекста не становится голосом клиента

Интервью и обращения требуют согласия человека, ссылки на исходный фрагмент и честного учёта противоречий.

1. Зафиксировать цель исследования и критерии выборки до разговора.
2. Получить согласие на запись и оговорить использование.
3. Хранить исходную запись отдельно от конспекта; для цитаты указывать номер интервью и временную отметку.
4. Создать справочник категорий и не менять разметку задним числом без новой версии.
5. Показать не только повторения, но исключения и альтернативные объяснения.
6. Не считать вымышленный портрет интервьюированным клиентом.

От разговора к выводу

1. Отделите дословное наблюдение от пересказа исследователя.
2. Разметьте событие, задачу, нынешний обходной путь, последствие, критерий выбора и сделанное действие.
3. Для каждой темы посчитайте не только число упоминаний, но и число людей, которые могли с ней столкнуться.
4. Сохраните отрицательные случаи: кто не испытывает проблему, решил её иначе или отказался от предлагаемого шага.
5. Сопоставьте слова с поведением: покупкой, использованием, обращением, повтором или уходом.
6. Покажите, для какой группы и выборки справедлив вывод и чего она не позволяет утверждать.

Почему проценты не спасают малую выборку. Если пять из пяти собеседников упомянули проблему, можно честно написать «5 из 5 опрошенных». Формулировка «100% клиентов» создаёт ложное ощущение точности. Частота упоминания не доказывает охват проблемы, её тяжесть, готовность платить или ценность конкретной функции. В одном из разобранных синтезов к пяти интервью дополнительно приписали 40% рабочего времени, 89 обращений и 56% неактивировавшихся пользователей, которых не было в исходных разговорах. Такие числа не становятся доказательствами даже в красивой таблице.

Помощник может предложить категории, вопросы и другие объяснения. Он не становится новым респондентом и не повышает частоту темы, сколько бы искусственных ролей ни было создано.

07 · Эксперимент

Гипотеза должна уметь проиграть

Тест без заранее записанного решения после результата превращается в поиск удобного объяснения.

Полный порядок проверки изменения

1. Сформулируйте изменение, группу и причинное предположение.
2. Выберите один главный показатель и защитные показатели — то, что не должно ухудшиться ради локальной победы.
3. Определите минимальное изменение, ради которого вообще имеет смысл внедрение, и достаточный период наблюдения.
4. Опишите распределение между вариантами, размер выборки, пропуски и исключения до просмотра результата.
5. Проверьте, одинаково ли собирались данные и не менялись ли одновременно цена, канал, сезон или состав аудитории.
6. Покажите сам эффект, диапазон неопределённости и влияние отклонений от плана.
7. Примените заранее записанное решение: внедрить, продолжить проверку, исправить или отказаться.

Если анализируется много показателей и групп, случайная «победа» становится вероятнее. Не выбирайте главный показатель задним числом. Среднее время только среди тех, кто завершил действие, не описывает всех участников и может скрыть ухудшение.

Целостность эксперимента проверяется до поиска победившего сегмента

1. Сохраните неизменяемый исходник. Запишите место выгрузки, период, дату, контрольную сумму файла и владельца. Очистка и расчёты выполняются в копии; исходные строки не переписываются.
2. Утвердите словарь. Одна строка, единица наблюдения, варианты, событие включения, главный показатель, защитные показатели, период наблюдения, пропуски и исключения определяются до расчёта.
3. Проверьте состав выборки. Число уникальных участников, дубли, пропуски, пересечение вариантов и соотношение групп должны сходиться с планом. Неожиданное расхождение может означать поломку распределения или сбора данных.
4. Зафиксируйте группы заранее. Сегмент считается подтверждающим только тогда, когда был назван до результата и для него хватало данных. Срез, найденный после просмотра, становится новой гипотезой.
5. Сохраните воспроизводимый расчёт. Другой человек должен получить те же количества из того же исходника с помощью сохранённого запроса, формулы или программы. Таблица в презентации без расчёта не является анализом.
6. Покажите размер эффекта и неопределённость. Значение статистической проверки само по себе не отвечает, полезен ли эффект. Нужны абсолютная разница, относительное изменение, доверительный интервал, исходный уровень и минимально полезная граница.
7. Учтите множество попыток найти эффект. Чем больше показателей, сегментов и периодов перебрано, тем выше шанс случайной находки. Покажите весь перечень проверок и не прячьте неудачные срезы.
8. Проверьте защитные показатели и экономику. Рост одного события не должен сопровождаться ухудшением удержания, качества, жалоб, маржинального дохода, нагрузки или справедливости результата.
9. Остановитесь при расхождении. Если количества в тексте, таблице и исходнике не совпали, рекомендация не выпускается. Сначала создаётся задача качества данных, исправляется расчёт и повторяется независимая приёмка.
10. Внедряйте поэтапно. Даже подтверждённый результат получает ограниченный выпуск, наблюдение, условие остановки и возврат версии. Эксперимент доказывает эффект в своих условиях, а не вечную пользу для всех.

Разобранный пример на 1 000 наблюдений

В учебном наборе было по 500 человек в группе с изменением и в группе сравнения. Простой пересчёт дал следующие результаты:

Ни одна из четырёх долей не прошла обычную двустороннюю проверку на уровне 0,05: расчётные значения были примерно 0,10; 0,11; 0,22 и 0,70. Разница времени тоже мала относительно разброса. Это направления для следующей проверки, а не доказанная победа. Дополнительно в исходнике не были описаны распределение по группам, период, пропуски, исключения и заранее выбранный главный показатель.

Финансовый сценарий не чинит недостоверный эксперимент

Расчёт «70 клиентов × 9 000 ₽ × 80%» нельзя одновременно называть месячной выручкой, годовым регулярным доходом и ценностью клиента за двенадцать месяцев. Сначала задаются последовательные месячные группы клиентов, вероятность сохранения по месяцам, возвраты, скидки, налоги, комиссии, переменные расходы, поддержка, инфраструктура, замещение других продаж и срок получения пользы. Затем строятся пессимистичный, основной и оптимистичный сценарии из исторического диапазона или явно названных допущений. Совпадение выбранного заранее прогноза с ошибочно рассчитанным результатом не подтверждает модель — это повод особенно тщательно проверить склонность искать удобное подтверждение.

Маленькая таблица может быть ещё опаснее. В наборе из 16 публикаций одновременно различались тема, оформление, дата и аудитория, а расходов, показов, подписок, регистраций и выручки не было. По такому набору можно описать наблюдаемую связь, но нельзя доказать, что именно формат вызвал результат или что его нужно «удвоить».

08 · Решение

Отчёт заканчивается выбором, а не выводом модели

Записка с решением соединяет доказательства, полномочия и возможность отмены.

Не сжимайте доказательства до неузнаваемости

В записке явно различаются четыре вида чисел: фактическое значение, расчётная оценка, сценарий «если», целевое значение. Цель не выдаётся за прогноз, сценарий — за факт, а красивая причинная история — за результат эксперимента.

1. Сформулируйте решение, которое действительно требуется, и человека с полномочиями его принять.
2. Покажите подтверждённые факты, противоречия и неизвестное.
3. Дайте не менее двух реальных вариантов, включая сохранение текущего порядка, если оно возможно.
4. Для каждого варианта покажите деньги, срок, доступную мощность, риск, обратимость и условия закона.
5. Обоснуйте рекомендацию и запишите сильнейшее возражение.
6. Укажите, какое решение нужно сейчас, что произойдёт после него и когда к нему вернутся.

Помощник может собрать материалы, проверить структуру и спорить с рекомендацией. Он не получает полномочия распоряжаться бюджетом, обещать клиенту, увольнять человека или скрывать неопределённость.

Краткость не разрешает выдумывать влияние. В одном учебном письме пять интервью превратились в «100%», появились средние 18 минут против 7 минут у конкурента, рост на 10–15 процентных пунктов, 80–100 тысяч долларов дополнительного годового регулярного дохода за квартал и срок в два—три рабочих цикла. Ни исследования, ни финансовая модель, ни техническая оценка этого не подтверждали. Правильная записка обозначила бы каждое число как наблюдение, оценку, гипотезу или цель и приложила бы источник, диапазон и допущения.

09 · Приёмка

Красивый документ не считается проверенным

Проверяющий оценивает не стиль, а источники, арифметику и соответствие полномочиям.

1. Выбрать минимум три ключевых вывода и пройти от каждого до исходного источника.
2. Пересчитать критическую формулу независимо.
3. Найти сильнейшее противоречие и проверить, отражено ли оно в выводе.
4. Убедиться, что искусственные примеры и допущения по-прежнему явно обозначены.
5. Проверить адресата решения и способ отмены.
6. Поставить статус: «принято», «принято с условиями» или «отклонено».

Приёмку проводит не автор документа

Автор отвечает на вопросы и исправляет ошибки, но финальную отметку ставит назначенный проверяющий. Для юридически, финансово, медицински или психологически значимых выводов нужен профильный специалист. Уверенный тон и высокий профессиональный образ помощника не заменяют такую проверку.

При статусе «принято с условиями» каждое условие получает владельца и срок. «Поправить позже» без ответственного означает, что документ не принят. После изменения ключевых данных или формулы приёмка проводится заново, а не наследуется от старой версии.

Проверка инструкции абсолютным новичком

Автор уже знает, что имел в виду, поэтому легко перескакивает через пропущенные шаги. Дайте инструкцию человеку, который впервые видит задачу, и не подсказывайте ему во время прохода. Проверяется не память новичка, а способность материала довести его до результата.

1. Заранее назовите исходное состояние, ожидаемый результат и допустимое время проверки.
2. Попросите человека вслух говорить, что он понял и что собирается сделать.
3. На каждом шаге запишите ожидаемое действие, фактическое действие и то, что появилось на экране или в файле.
4. Отметьте место, где непонятно, сломалось, потребовалась догадка или возникло неожиданное поведение.
5. Проверьте восстановление: понятно ли человеку, что делать после ошибки, как вернуться назад и где попросить помощь.
6. Отдельно спросите, что сработало хорошо и ощущается ли последовательность естественной.
7. Исправьте материал и повторите путь с другим новичком. Объяснение автора после ошибки не считается исправленной инструкцией.