На демонстрации ИИ-поиск может ответить убедительно и сослаться на документ по соседней теме. Для сайта с инструкциями этого недостаточно: ответ должен учитывать товарную группу, роль участника и условия применения правила.
В проекте поиска для оператора маркировки мы проверяли отдельно найденные материалы, источники ответа и поведение посетителей. Ни одна из этих проверок сама по себе не описывает всю работу поиска.
1. Зафиксируйте вопросы и ожидаемые материалы
Составьте набор до демонстрации. Для каждого вопроса укажите документ или раздел, который должен найти поиск. Отдельно запишите, какие условия должен учитывать ответ. Тогда результат можно проверить, даже если система найдёт ещё несколько похожих страниц.
| Что проверяем | Пример вопроса | Что смотреть |
|---|---|---|
| Порядок действий | Как зарегистрироваться производителю молочной продукции | Материал о регистрации для нужной группы и роли участника |
| Термин | Что такое виртуальный склад | Определение и условия, для каких товаров оно применяется |
| Короткий запрос | Молоко | Наличие выдачи и навигационной подсказки |
| Граница знаний | Вопрос, на который в базе нет ответа | Система обозначает нехватку сведений и не придумывает инструкцию |
Включите вопросы с опечатками, точные названия документов и развёрнутые формулировки. Сохраните версию системы, дату и состав базы. Если база или правила поиска изменились, следующий прогон будет отдельной проверкой.
2. Задайте двум системам одинаковый вопрос
Сравнивайте на одной базе и с одинаковыми доступными источниками. На нашей странице сравнения слева работает V3, справа - Diginetica из строки в шапке сайта. Дополнительные платные источники при проверке выключены.
Открыть снимок в полном размере
Затем проверьте простой запрос, на который старая система заведомо отвечает. Контроль "молоко" дал в штатном поиске одну подсказку и 22 результата. Такой контроль помогает обнаружить сбой подключения; одного успешного контроля недостаточно для оценки всего поиска.
Открыть снимок в полном размере
Два удачных примера не дают общего процента качества. Прогоните весь согласованный набор, сохраните результаты по каждой строке и разберите проигрыши. Если нужный документ оказался ниже в выдаче, выясните, какой материал его опередил и почему.
3. Откройте источники и проверьте условия
Ссылка рядом с ответом позволяет добраться до документа. Чтобы подтвердить инструкцию, откройте материал и найдите фрагмент для каждого существенного действия. Проверьте, кто должен его выполнить, для какой товарной группы и при каких условиях.
Открыть снимок в полном размере
Открыть снимок в полном размере
- →Нужный документ не найден. Проверьте, есть ли он в базе и как поиск его ранжирует.
- →Документ найден, условия перепутаны. Разбирайте составление ответа и привязку его пунктов к источникам.
- →В базе нет нужного правила. Система должна обозначить нехватку данных. Сначала потребуется получить и обработать документ.
Проверку нормативных инструкций поручите специалисту по предмету. Оценку языковой модели подписывайте отдельно: это вспомогательная проверка, которую также нужно сверять с документами.
4. Проверьте, что стоит за каждым процентом
До теста на посетителях определите события: человек задал вопрос, получил выдачу, открыл материал или источник. Зафиксируйте прямые перенаправления в разделы и повторные вопросы. Они влияют на знаменатели.
| Показатель | Старый поиск A | Новый поиск B |
|---|---|---|
| Всего поисков | 13 842 | 12 633 |
| Пустые результаты | 22,1% · 3 063 / 13 842 | 0% · 0 / 12 633 |
| Поиски с открытием материала | 15,9% · 1 448 / 9 079 | 33,0% · 4 167 / 12 633 |
В этом отчёте открытием считается переход из выдачи или по ссылке на источник в кратком ответе. Прямые перенаправления в раздел сайта исключаются из числителя и знаменателя доли открытий. У старого поиска их 4 763: знаменатель равен 13 842 - 4 763 = 9 079. В новом варианте перенаправлений нет, знаменатель - 12 633. Пустые поиски остаются.
Поэтому 1 448 / 9 079 = 15,9%, а 4 167 / 12 633 = 33,0%. Разница, посчитанная до округления, составляет 17,0 процентного пункта. Это доли поисков с переходом к материалу; число поисков не равно числу посетителей.
Открыть снимок в полном размере
Правила обработки тоже входят в отчёт. Боты исключены; одинаковые вопросы в пределах десяти минут и шаги набора с интервалом до десяти секунд объединены. Граница сессии - 30 минут, задержка привязки перехода - пять секунд. В сервисе осталось 1 969 переходов без привязки к поиску - это ограничение полноты данных.
Попросите правила распределения посетителей между вариантами и оценку погрешности. В нашем разборе статистическую значимость не рассчитывали: проценты описывают наблюдаемое поведение за выбранный период. Ноль пустых результатов не доказывает стопроцентную правильность ответов.
5. Учитывайте ответ без открытия документа
Человек может получить сведения из краткого ответа и ничего не открыть. Одних переходов для оценки такого поиска недостаточно. Отдельно фиксируйте показ ответа, время на экране и повторный близкий вопрос.
В октябрьском отчёте подтверждённый краткий ответ выдан в 8 336 из 12 506 поисков с известным состоянием ответа - 66,7%. Всего у нового поиска 12 633 поиска: у 127 состояние ответа отсутствует. Для 7 428 из 8 336 ответов зафиксирован показ не меньше четырёх секунд - 89,1%.
Для 174 ответов нет сигнала о времени показа. Они остаются в общем знаменателе и не засчитываются показанными четыре секунды. Такое событие не доказывает, что посетитель прочитал и понял текст. Составная "успешность" в панели также не является долей довольных людей: в её расчёте используются оценки модели и вероятности.
Что получить до решения о внедрении
- →Набор вопросов с ожидаемыми материалами и результатом по каждой строке, включая ошибки.
- →Версию поиска, дату и состав базы для каждого отчёта.
- →Примеры ответов с источниками и проверкой существенных пунктов по документам.
- →Выгрузку сравнения на посетителях: период, размеры групп, события, числители, знаменатели и правила исключений.
- →Снимки обеих систем на одинаковых вопросах, с датой, средой и контрольным запросом.
До начала работ договоритесь, какие ошибки недопустимы и по каким результатам принимаете поиск. Тогда отдельный вопрос можно повторить, документ - открыть, а процент - пересчитать.
Посмотреть кейс: задача оператора маркировки, устройство поиска и октябрьские результаты.
