Проблема надежности показателей

Как вы уже убедились, NPS — это нечто большее, чем просто показатель. Однако если сам показатель ненадежен, то вся система, построенная вокруг него, вряд ли будет эффективной. Уже сегодня многие компании собирают данные для расчета NPS поспешно и бессистемно, в результате чего они никак не соотносятся ни с поведением клиентов, ни с ростом их бизнеса. Зачастую это происходит потому, что компания не разработала своевременный и четкий процесс, в ходе которого нужным клиентам задают правильные вопросы, либо не учла важные сезонные колебания бизнес-показателей. Случается также, что сотрудники компании подтасовывают результаты или манипулируют ими. В любом случае данная проблема мешает компаниям учиться и внедрять усовершенствования, поскольку их решения основываются на недостоверных данных. А если NPS еще и влияет на размеры премий и бонусов персонала, то вознаграждение получают не те люди, которые этого действительно заслуживают.

Отсутствие надежных показателей представляет гораздо более серьезную проблему, чем считает большинство тех, кто применяет систему на практике. Чтобы правильно оценить ее масштабы, давайте проанализируем сектор, ставший в последнее время объектом скрупулезного исследования. Сэнди Роджерс, в прошлом один из руководителей Enterprise, сыгравший главную роль в разработке уникальной системы ESQi, объединил усилия с FranklinCovey, чтобы выработать процедуру создания аналогичного измерительного процесса для других отраслей, для которых характерно большое количество похожих предприятий, таких как розничные торговые, ресторанные и гостиничные сети. Известно, что одним из важнейших факторов успеха Enterprise стала разработка надежного показателя для составления ежемесячного рейтинга филиалов. Эта система основывалась на телефонном опросе выборок клиентов каждого филиала, проводившемся сторонней организацией. Руководство четко определило размер выборок, что обеспечивало статистическую достоверность скользящего среднего показателя за каждый трехмесячный период.

Очевидно, Enterprise могла бы найти более дешевое решение, но компания решила, что дополнительные расходы на проведение телефонного опроса силами третьей стороны оправдывают себя. Руководителям нужны были надежные показатели по отдельным предприятиям, за которые несли бы ответственность менеджеры, работающие на местах. С их точки зрения телефонный опрос — это своего рода золотой стандарт в деле получения надежных показателей: его результаты трудно подтасовать и легко проверить. Кроме того, благодаря намного большему количеству ответивших, существенно облегчалась задача контроля выборок. В Enterprise на звонок отвечали и доводили опрос до конца более 95 % клиентов. В расчете на одно предприятие опросы по телефону обходятся в среднем на 50 % дороже, чем стандартные подходы, однако полученные с их помощью результаты значительно надежнее.

Надо сказать, система Enterprise существенно отличалась от систем, обычно используемых большинством розничных торговых и гостиничных сетей. В их системах обычно используется автоматизированный процесс обратной связи с помощью кассовых чеков. Внизу или на обороте каждого чека печатается просьба к клиенту позвонить (бесплатно) по номеру или зайти на сайт компании, ввести номер транзакции, указанный на чеке, и ответить на вопросы анкеты. Часто согласным ответить на вопросы предлагается какое-нибудь поощрение — купон, бесплатный сандвич или шанс выиграть в лотерею. Эти анкеты представляют собой довольно эффективный способ сбора ценной информации у клиентов, но для составления рейтингов отдельных предприятий они не подходят из-за отсутствия четкого алгоритма формирования выборок. При таком подходе невозможно последовательно выявлять действительно хорошие и плохие бизнес-единицы.

FranklinCovey узнала об этой проблеме, когда ее исследователи выявили слабые стороны, присущие традиционным методологиям проведения опросов в собственных розничных точках (от которых они впоследствии отказались). Сэнди Роджерс и его команда из FranklinCovey начали работать с другими сетями магазинов и гостиниц, чтобы протестировать разные способы составления рейтингов. Самый популярный подход, как уже говорилось, базировался на использовании кассовых чеков, однако он позволял без особого труда обмануть систему. Например, кассиры обводили ярким маркером призыв участвовать в опросе на чеках довольных клиентов и «забывали» напомнить о нем тем, кто был явно неудовлетворен обслуживанием. Кроме того, клиенты, которых привлекал данный метод, далеко не всегда представляли собой репрезентативную выборку всей клиентской базы. Да и низкий коэффициент отклика — обычно не больше 5 % — тоже приводил к большой статистической погрешности, в связи с чем разброс оценок по отдельным предприятиям был очень широк.

Команда FranklinCovey сравнила результаты, полученные посредством опроса с использованием кассовых чеков, с рейтингами, составленными по итогам одновременно проведенного на тех предприятиях телефонного опроса по методике Enterprise, то есть с привлечением сторонней исследовательской компании. В результате восьми разных сравнительных тестов на базе больниц, ресторанов, магазинов по продаже товаров для животных, электроники и автозапчастей, а также авторемонтных мастерских, мастерских по смене машинного масла и парикмахерских система Enterprise более чем в половине случаев однозначно отнесла предприятия к категории лидеров. После этого FranklinCovey протестировала, соответствовало ли поведение клиентов предприятий-лидеров присвоенной им категории. Действительно, уровни удержания клиентов и средняя сумма совершенных покупок в этой группе были высоки. А вот на предприятиях, получивших высокую оценку по результатам опросов с использованием чеков, эти показатели были ниже средних баллов по сети в целом. Одно из непременных различий между этими двумя методами заключается в том, что телефонный опрос охватывает больше детракторов. В итоге средний NPS при использовании данного подхода был примерно на 15 пунктов ниже, чем при опросе с применением чека.

Мы подозреваем, что скоро все больше и больше компаний, к своему огорчению, поймут, что показатели Net Promoter, используемые ими в настоящее время для установки приоритетов, определения размера премий и распределения ресурсов, недостаточно надежны. Например, многие организации установили у себя системы для опросов по электронной почте и строят решения по NPS на этих данных. С точки зрения эффективности такой подход вполне обоснован, и в ходе проведения опросов он обеспечивает простой доступ к данным о клиентах и транзакциях. Однако для большинства этих систем характерен очень низкий коэффициент отклика, так что предполагать, что полученные с их помощью суммарные индексы отражают данные по всей клиентской базе, весьма рискованно. В главе 5 мы говорили о том, что низкий коэффициент отклика почти всегда ведет к большому разбросу и ненадежности показателей, поскольку распределение промоутеров, пассивных и детракторов в группе клиентов, согласившихся участвовать в опросе, существенно отличается от распределения в категории тех, кто его проигнорировал. Именно в этой области мы ожидаем наибольших улучшений в течение ближайших нескольких лет, ибо компании постоянно разрабатывают и внедряют новые усовершенствованные процессы. Возможно, телефонный опрос не идеальное решение для вашей организации с точки зрения долгосрочной перспективы, однако сто раз подумайте, прежде чем вернуться к самой дешевой альтернативе. Компании-лидеры сегодня добиваются коэффициента отклика в 40—70 %, и мы надеемся, что, по мере того как компании поймут и признают важность этой трудной задачи, он вырастет до 90 %.