Система аналитики: покупать или создавать собственную программу

Ведущий аналитик сервиса для мобильных разработчиков Devtodev Василий Сабиров написал для vc.ru колонку о том, стоит ли приобретать готовую систему аналитики или разрабатывать ее самостоятельно. Сабиров поделился преимуществами и слабыми сторонами обоих подходов, а также привел список вопросов, которые стоит рассмотреть, чтобы найти оптимальное решение.

Я встречал следующие мнения от разработчиков:

• «Нам не нужна аналитика». Прекрасно понимаю тех, кто придерживается этой точки зрения. Для небольших студий, которые на одном энтузиазме делают свою первую игру, такой подход вполне оправдан - им лучше заниматься игрой, а не аналитикой.
• «Аналитика есть, а что с ней делать?» Команда интегрировала бесплатную систему и теперь гордо считает, что у нее есть аналитика. Но никто точно не понимает, как ей пользоваться.
• «У нас есть аналитика - вот 100 посещений в день». У многих проектов аналитика сводится к анализу посещаемости сайта и подсчету денег, полученных от продукта. Однако между посещением и платежом происходит еще много интересного - разработчики могут упускать это из виду.
• Аналитика есть, а специалиста нет.Команда смотрит на основные метрики, но не понимает, как выводы делать на их основе. Как построить прогноз? Как сработало последнее обновление? Для ответа на подобные вопросы нужен отдельный специалист.
• Аналитика и специалист.Эксперт нашелся и даже начал работать с системой аналитики, используя ее для ответов на серьезные вопросы.
• Специалист и аналитика. На первый план выходит аналитик, и все вопросы о данных решаются через него. Он даже использует какой-то аналитический сервис, но команда о нем не знает, да и не должна знать.
• Специалист + аналитика + аналитика +...Систем на рынке очень много. Среди них есть как универсальные, так и узкоспециализированные. Аналитик в такой ситуации по-прежнему остается точкой доступа к данным для всей компании, но использует множество систем, взяв лучшее от каждой из них.
• Полностью сами. Система аналитики с нуля разработана компанией, полностью кастомизирована и способна отвечать внутренним запросам. Компания имеет полный контроль над данными: структурирует, хранит и визуализирует их в созданной системе. Ничего на рынке не заменит эту разработку, потому что у проекта слишком много особенностей.

Многим кажется, что раз крупнейшие игроки из разных сегментов рынка (Zynga, Facebook, Airbnb) сами делают свою аналитику, то это действительно лучший путь. Все не так просто - у этого варианта есть плюсы, минусы и подводные камни.

Доступ к данным и движущая сила

Итак, вы разработали собственную систему аналитики и создали целый отдел, который с ней работает. Представьте, что каждый сотрудник - маркетолог, PR-специалист, геймдизайнер и даже продюсер - будет задавать аналитику вопросы из серии: «Сколько вчера был DAU?», «Сколько в этом DAU было пользователей из России?», «Сколько всего пришло новых пользователей по стране»?

Аналитику несложно ответить - это лишь один SQL-запрос, либо пара кликов в системе. Но этим вы тормозите деятельность как самого специалиста (у которого наверняка есть более важные задачи), так и сотрудника, который задал вопрос. Учтите, что в каждый момент времени таких вопросов более одного, и это точно не идет на пользу компании.

Куда удобнее, когда каждый сотрудник может зайти в систему и самостоятельно найти ответ на свой вопрос. Это то, что называется data-driven, - все знают, какие данные им нужны, знают, как их получить и не отвлекают при этом других людей. Менеджер по продукту Instacart Фарид Мосават, столкнувшийся в свое время с тем же выбором, сказал: «Если вы считаете себя data-driven, но все запросы проходят через аналитика, то вы не data-driven».

Недооцененность затрат на разработку аналитики

Эти затраты не равны сумме зарплаты аналитика и издержек на содержание серверов с данными. Во-первых, в такой ситуации развитие компании тормозится из-за небольших задач, которые постоянно сыплются на голову аналитическому отделу, - эти затраты трудно учесть и оценить.

Во-вторых, далеко не все можно учесть на этапе проектирования системы, если вы пишете ее самостоятельно. Более сложные запросы потребуют новых функций от системы, а значит, и новых структур данных, а значит, и перетягивания инженеров из разработки основного продукта в разработку системы аналитики.

Представьте, например, насколько придется изменить систему, если вы решите делать в ней A/B-тесты, которые не закладывались в изначальный проект. Со временем система обрастает новыми затратами и требует больше ресурсов, которые отнимаются у разработки самого продукта. Фарид Мосават говорил: «Я больше заинтересован в решении важнейших вопросов продукта, нежели в построении технической инфраструктуры для аналитики».

В одной статье на эту тему говорится: «ИТ-специалисты не должны выполнять работу библиотекарей, которые ищут данные и правильно их интерпретируют по каждому запросу. К тому же инженерам потребуется время на создание и поддержку структуры данных».

При сторонней системе аналитики в компании разработка продукта проходит проще и быстрее. Вот лишь некоторые функции аналитических сервисов, которые потребуют значительных сил в разработке, хотя решают несложные задачи:

• Расчет основных метрик. Речь не только про DAU, но и про любые другие метрики.

• Сегментация пользователей. Если вы хотите вести аналитику не по всем пользователям сразу, а в разрезах (страна, платформа, поведение), вам придется выполнять отдельный запрос для каждого сегмента, затем оформлять результаты в таблицу или дашборд и сравнивать друг с другом. В системах аналитики эта функция автоматизирована, поэтому вы, однажды создав сегмент любой сложности, будете всегда видеть его данные.

• Push-уведомления. Разрабатывать свой механизм рассылки push-уведомлений - дело хлопотное и неблагодарное. Слишком много особенностей придется учесть. Но в современных системах аналитики уже существуют инструменты для рассылки уведомлений. Более того, вы можете в одной вкладке браузера следить за отдельным сегментом пользователей, отправлять им уведомления и смотреть, как выправляются метрики.

• События и воронки.Современные системы аналитики обычно базируются на событиях, которые генерируют пользователи. Соответственно, и отчеты в них заточены под эти события: можно передавать их параметры, строить воронки с различными значениями параметров, получать распределение значений для одного события и так далее. А представьте, например, сколько потребуется усилий, чтобы в самостоятельно написанной системе построить воронку по отдельно выбранному пользовательскому сегменту?

• A/B-тесты. Выделить сегменты, случайно или в определенном порядке «раскидать» по ним пользователей, одному сегменту показать «A», другому «B», выбрать метрики, посчитать их значения для каждого сегмента, рассчитать статистическую значимость - готова ли к этому ваша самописная аналитика? А продвинутые сервисы начинают внедрять такую функциональность, становясь больше, чем просто аналитикой, - они не только подсказывают, как изменить продукт, но и помогают внести и протестировать эти изменения.

• Бенчмаркинг.Это та функция, которой в самописной системе аналитики нет и не будет, если у вас мало проектов. Преимущество сторонних сервисов в том, что у них много клиентов, и они могут их сравнивать. Разумеется, они не скажут вам, чему равно ARPU других проектов в том же жанре, но могут подсказать, как ваш ARPU соотносится с чужими.

«А как же кастомизация?» - спросите вы. Ведь если мы пишем систему аналитики с нуля под свой проект, то она учтет все наши особенности и сможет ответить на любой вопрос. Действительно, сможет. И это основное преимущество самостоятельно созданных систем. Но и сторонняя аналитика кое-что предлагает: как правило, у нее есть возможность выгрузить данные в.csv,.xlsx и так далее. Используя эти данные, вы сможете ответить на любой вопрос, сэкономив на содержании серверов.

Как принять решение

У вас могло сложиться впечатление, что я настаиваю на покупке сторонней системы аналитики, но это не совсем так. Я попытался сравнить самописные и готовые сервисы, но решение принимать вам. Ниже список вопросов, которые стоит задать себе, чтобы выбрать лучший из вариантов:

• Что вы требуете от аналитики? Что бы вы хотели знать о своем проекте?
• Кто будет пользоваться системой?
• Какие роли будут выделены (маркетолог, гейм-дизайнер, менеджер по продукту, аналитик). Какие данные нужны каждому сотруднику?
• Смогут ли все пользователи системы быстро получить доступ к данным и визуализировать их?
• Важный вопрос - каков разброс между минимальной и максимальной компетентностью в аналитике у тех, кто будет пользоваться системой?
• Как изменятся ответы на вышеуказанные вопросы, когда компания вырастет?
• Сколько денег потребуется на содержание системы (даже если просто считать сумму затрат на аналитика и на серверы и сравнивать со стоимостью системы на рынке)?

Рекомендации

Наконец, несколько конкретных рекомендаций о том, как поступить.

• Если вы - небольшая инди-студия и вы уже задумались об аналитике, подключайте сторонний сервис, который все сделает за вас. Вы в это время будете заниматься своим продуктом.
• Если вы начали расти, и вместе с тем растут ваши запросы к данным, наймите аналитика и вручите ему эту стороннюю систему. Пусть он отвечает на ваши вопросы с ее помощью.
• Если у вас появляются отделы, иерархия, непересекающиеся продукты и функции, то вам подойдет принцип «Специалист + аналитика + аналитика +...». На рутинные вопросы сможет ответить любой сотрудник с помощью одной из интегрированных систем, а для более сложных из них есть аналитический отдел.
• Если же вы уверены, что лучше вас аналитику никто не сделает, вперед, создавайте ее сами, это решение достойно уважения. Но прежде чем начать, посчитайте затраты на запуск и поддержку.

В завершение нехитрая метафора: представьте, что вам нужен кухонный гарнитур. Можно сделать его самостоятельно, ведь многие так поступают. Вроде бы даже получится дешевле (фанерки да шурупы) и отлично подойдет для вашей нестандартной кухни. Но прежде чем начать стройку, пройдите по магазинам, вдруг вам что-нибудь действительно понравится.