Почему читатели не пользуются поиском по справочнику?

Дока — open-source справочник по веб-технологиям, который читают 150 000+ уникальных посетителей в месяц. Аудитория состоит как из разработчиков, так и студентов, только изучающих веб-разработку. Контент Доки энциклопедический, связный, с перекрёстными ссылками.

После релиза проекта команда заметила, что люди не используют поиск: достижения цели «Читатель воспользовался поиском» на Яндекс.Метрике были единичными, а конверсия цели «Клик по кнопке Меню», активирующей поиск, составляла около 2%.

Поиск по Доке реализован при помощи JS и показывает найденные совпадения во всплывающем блоке на той же странице, где находится пользователь. Это объяснило аномально малые результаты метрики «Читатель воспользовался поиском»: страница https://doka.guide/search/ используется для расширенного поиска по базе знаний, перейти туда можно, но это редко требуется, потому что поиск через «всплывашку» выполняет ту же работу, но без лишних кликов и переходов.

Кроме того, «всплывающий» поиск можно активировать не только кликом по кнопке, но и нажатием на горячую клавишу / на клавиатуре. Эти сценарии не фиксировались в Яндекс.Метрике, что делало цель «Клик по кнопке Меню» неполной и не отражающей реальное использование поиска.

Имеющиеся количественные метрики не позволяли однозначно ответить на стоящие передо мной вопросы. В поисках ответа я проанализировала прокси-метрики:

• глубину просмотра (3,5 страницы в среднем, 55% пользователей просматривали больше одной страницы);
• долю внутренних переходов между материалами (35%);
• переходы по перекрёстным ссылкам на связанные материалы и через блок фичеринга (в среднем 0,2%)
• отказность (0,6%).

Динамика основных и прокси-метрик, к сожалению, не показывала деградации навигации :) К сожалению — потому что некуда было ткнуть пальцем и восклинуть». Можно было предположить, что читали пользуются инструментами навигации равномерно, но убедительного подтверждения того, является поиск или не является частью естественного пользовательского сценария, не было.

Наконец, был проведён опрос в сообществе читателей и контрибьюторов Доки:

• 37% пользовались обычным всплывающим поиском;
• 24% пользовались как всплывающим поиском, так и расширенным на отдельной странице;
• 39% не знали о существовании поиска.

То есть, больше трети активной аудитории не знало о базовом инструменте навигации. Среди читателей, заходящих в справочник эпизодически, эта доля могла быть ещё выше. При этом 24% респондентов сказали, что пользуются расширенным поиском, хотя зафиксированных переходов на страницу расширенного поиска были единицы.

Статистические данные оказались комплексными и, при этом, неполными. Чтобы лучше понять пользователей и ответить на вопрос «Осознают ли пользователи существование поиска и входит ли он в их инструментарий навигации?» нужно было качественное исследование.

Целью исследования было понять:

• как пользователи находят материалы в справочнике;
• какую роль поиск играет в их сценарии;
• где возникает фрустрация при поиске информации.

Инструментом исследования я выбрала полуструктурированные пользовательские интервью один-на-один, продолжительностью 15-30 минут, с открытыми вопросами.

Интервью я строила от общего к частному. Сначала спрашивала про поведение в целом:

• «Как часто ты пользуешься Докой?»
• «Ты когда-нибудь гуглил(а) Доку?»
• «Обычно читаешь один материал или зависаешь?»
• «Бывает ли «эффект википедии»?»

Потом про навигацию:

• «Как ты находишь материал по нужной теме?»
• «Ты когда-нибудь интересовался(лась), сколько материалов написал конкретный автор?»
• «Пользуешься ли поиском?»
• «Если нет, то замечал(а) ли его?»

И только в конце спрашивала про конкретные элементы интерфейса:

• «Ты замечал(а), как часто обновляется блок «фичеринг» на главной?»
• «Ты знаешь, что означает символ / в шапке?»

Я не объявляла, что исследую именно поиск и, конечно, не начинала с вопроса «удобна ли кнопка поиска?», чтобы не формировать предвзятость.

Что выяснилось? Три самых популярных ответа звучали так:

• «Я обычно через Google захожу»;
• «Мне казалось, / это просто украшение»;
• «До поиска мотать неудобно».

Таким образом выяснилось:

• значительная часть пользователей не считывала поиск как поиск, не знала о его существовании;
• те, кто знали, считали поиск не очень удобным;
• навигация преимущественно строилась через Google и внутренние ссылки в текстах.

Так этот кейс стал кейсом об обнаруживаемости (discoverability).

Оценить эффективность редизайна по метрикам было сложно: во-первых, потому что у нас в принципе не было достаточно метрик за предыдущие периоды, а во-вторых, потому что у проекта сильно выражена сезонность. Редизайн был выпущен 31 августа, а Доке, как и всем образовательным проектам, свойственнен бум посещаемости с наступлением осени, и, например, сравнение метрики «Клик по кнопке Меню» в квартал до редизайна и в квартал после было бы недостаточно достоверным.

Поэтому после редизайна я провела повторные интервью, чтобы проверить, стал ли поиск более заметен и изменился ли способ читателей взаимодействовать с Докой. К списку вопросов я добавила так же вопрос о том, обращает ли пользователь внимание на обновления сайта, и все респонденты, кроме одного, самостоятельно назвали недавнее обновление шапки сайта.

Сценарий «я обычно гуглю свой запрос + Дока» так и остался самым популярным сценарием поиска. Однако после редизайна все опрошенные пользователи распознали подсказку о вызове поиска, и никто не счёл её нефункциональным украшением интерфейса (иконкой «для красоты»).

«Мой туннельный синдром передаёт "спасибо", больше не надо так много мотать».