Методология без прикрас
Как устроен замер и что именно означает каждая цифра. Мы описываем метод так, как он работает на самом деле — без обещаний, которые нельзя подтвердить.
Как мы измеряем
Мы задаём ИИ-ассистентам ваши промпты — реальные вопросы, которые люди задают моделям про вашу категорию, — и разбираем ответы. Замер идёт через API-интерфейсы провайдеров и агрегатора, а не через эмуляцию браузера. Мы честно говорим об этом методе и не заявляем, что воспроизводим пользовательский интерфейс один в один.
Native search — поиск на стороне модели — включается только для тех каналов, где capability-тест живым запросом подтвердил поддержку. Если канал поиск не поддерживает, мы не делаем вид, что поддерживает: параметр просто не передаётся, и это видно в интерфейсе.
Методология фиксирована и версионирована. Модельный канал не может молча сменить модель, провайдера или параметры поиска: любая такая смена создаёт новую версию канала и отметку на графике. Поэтому скачок метрики после обновления модели виден как обновление, а не выглядит как изменение рынка. Тренды сопоставимы внутри одного периода — в этом весь смысл замера.
Метрики
Каждый ответ разбирается на сущности, из них считаются метрики. Ключевое правило: агрегаты строятся из счётчиков, а средние за период — как сумма числителей на сумму знаменателей. Рядом с каждой метрикой всегда стоят выборка и покрытие.
Видимость
сумма чатов с брендом / сумма валидных чатовДоля ответов, где бренд назван хотя бы раз. Считается из счётчиков за весь период, а не усреднением дневных процентов: «среднее средних» искажает тренд, когда число чатов по дням разное. Повторить название десять раз в одном ответе видимость не увеличит — бренд считается в чате один раз.
Позиция
средний порядок первого появленияКаким по счёту бренд впервые упомянут в ответе. Порядок считается среди всех сущностей категории, а не только среди выбранных вами конкурентов. Первым назвали или пятым — не одно и то же: ассистент чаще рекомендует то, что стоит выше.
Тональность
(позитив + 0,5 × нейтрал) / все упоминания × 100Окраска упоминаний по шкале 0–100. Отказ, пустой ответ и ошибка провайдера не считаются негативом — это отдельные классы вне метрики. Отсутствие данных не равно плохому отношению модели.
Доля голоса
упоминания бренда / все упоминания брендов категорииКакую часть внимания модели занимает бренд среди конкурентов. Знаменатель включает все сущности категории, а не только заведённых вами конкурентов, — в том числе ещё не принятые предложения брендов. Поэтому историческая доля голоса не меняется задним числом, когда конкурента добавили в интерфейс.
Покрытие (coverage)
сумма валидных чатов / сумма ожидаемыхДоля замеров, которые состоялись. Показывается всегда рядом с метрикой: цифра без выборки и покрытия не значит ничего. День с покрытием ниже 90% помечается как provisional и рисуется иначе, чем полный. Ниже порога покрытия алерты и рекомендации не генерируются — на неполных данных мы молчим, а не пугаем.
Отсутствие данных и ноль выглядят по-разному: «—» означает, что замера не было, «0%» — что бренд ни разу не назван при состоявшихся замерах. Это разные факты, и мы их не путаем.
Упоминание бренда и цитирование источника
Это две разные вещи, и продукт их не смешивает.
Упоминание бренда
Ассистент называет бренд в тексте ответа. Это питает видимость, позицию, тональность и долю голоса.
Цитирование источника
Ассистент ссылается на домен или страницу как на подтверждение. Это питает метрики источников — что модель читает, отвечая про категорию.
Можно быть названным без единой ссылки и наоборот — источник процитирован, а бренд не назван. Где провайдер отдаёт диапазон цитаты в тексте, мы связываем ссылку с конкретным утверждением; где не отдаёт — не выдаём совпадение домена и бренда в одном чате за причинную связь.
Классы невалидных ответов
Не каждый ответ попадает в метрики. Ответ без упоминания бренда и отсутствие валидного ответа — разные вещи. Мы выделяем четыре класса, которые не сваливаются в ноль видимости, а показываются отдельно и объясняют покрытие.
- 1
Отказ
Модель отказалась отвечать или сообщила, что не может. Это не нулевая видимость — данных об упоминании в таком ответе просто нет.
- 2
Пусто
Ответ пустой или чисто технический. Считать его нулём значило бы нарисовать падение видимости там, где замера по сути не было.
- 3
Ошибка провайдера
Сбой на стороне модели или агрегатора. Учитывается как несостоявшийся замер и снижает покрытие, а не тональность.
- 4
Неразобрано
Ответ есть, но его структура или анализ непригодны. Такой чат вне метрик до повторного разбора, и это видно в интерфейсе.
В знаменатель метрик входят только валидные ответы. Отказы, пустые ответы и ошибки видны на экране Чатов — витрине доверия к цифрам, где каждый ответ можно открыть целиком.
Почему это про доверие, а не про красоту
Продукт продаёт одно — доверие к цифрам. Клиент остаётся на второй месяц не за красивый дашборд, а за то, что вчерашняя цифра объяснима сегодня. Поэтому любое решение, которое делает данные красивее ценой их правдивости, для нас ошибка.
Практическое следствие видно во всех метриках выше: выборка и покрытие рядом с каждой цифрой, неполные дни пунктиром, отметки смены версии канала на графиках, отдельные классы невалидных ответов. Если выбор стоит между «показать что-то» и «честно сказать, что данных нет», мы выбираем второе.