Бизнес-аналитик как сервис

Мы часто встречаем ситуацию, когда обработка данных и получение статистики выглядит как непрерывный процесс, как набор множества скриптов, которые поочередно применяют над данными без явного деления процесса обработки данных на этапы с четкими задачами.
Например, у ТОП менеджмента появляется запрос на новый отчет. Требования уходит к ИТ-шникам и они начинают править всю (или почти всю) цепочку скриптов. Каждое исправление в каждом скрипте – это риск ошибки. Отсутствие технической документации на эти скрипты кратно множит вероятность этих ошибок. И в итоге получается, что почти любое требование по изменению статистики приводит к необходимости небольших, но многочисленных изменений этих скриптов, что порождает массу проблем.

Обработка данных – это поэтапный процесс. На каждом этапе выполняются строго определенные действия с данными. Например, экспорт данных из источников, формально-логический контроль, преобразование форматов, сопоставление НСИ, объединение данных по ключевым полям из разных источников и т.п. Когда появляется новое требование в отчетности оно должно затрагивать строго определенный уровень логики, а не все подряд. Эти идеи хорошо прослеживаются в теории организации архитектуры КХД.

Предположим, у вас есть линейный график, который показывает средний чек по категориям по месяцам. ТОП запрашивает детализацию не по месяцам, а по неделям. Это задача уровня bi-системы. Она не должна приводить ни к каким изменениям процесса обработки данных до bi-системы, не нужно трогать экспорт, не нужно трогать работу с НСИ и т.п. Нужно в bi-системе создать новое вычисляемое поле и поправить одну формулу. Всё. Вероятность привнести ошибки этими действиями стремится к нулю.

Для работы bi-системы можно сделать экпорт данных из ваших систем в формат Excel или csv. Подобные экспорты данных существуют во многих прикладных системах. Это далеко не самый правильный подход к работе с данными, но это один из самых базовых и простых вариантов, который может дать неплохой результат.

Можно. Это одна из классических задач корпоративного хранилища данных (далее - КДХ, DWH). Решается это через связи таблиц данных из разных систем по ключевым полям, т.е. через создание схемы данных.
Для небольших объемов данных это можно сделать на уровне bi-системы. Не все данные и не всегда можно просто и быстро связать. Нужно смотреть каждый конкретный случай.

Нет. Современные bi-системы обладают очень мощным математическим аппаратом, который автоматизирует все нужные вычисления. От клиента необходимы только исходные данные и постановка задачи на расчеты и визуализацию.

Частота обновлений данных в bi-системе ровно такая, с какой ей поставляются обновленные данные. Скорость обновления - это вопрос не к bi-системе, это вопрос к алгоритмам обработки данных и их доставки в bi-систему.
При непосредственном подключении bi-системы к базе данных системы-источника, аналитические данные можно обновлять хоть в режиме онлайн.

Можно. В bi-системах существуют "Отчеты" - это наборы графиков, таблиц, поясняющих надписей, которые размещены на листах А4 или А3. Такие отчеты составляются один раз. Данные на них обновляются автоматически при обновлении оных в bi-системе. Их можно распечатать или сохранить в формате PDF в любой нужный момент.

Одна из ключевых, и одна из самых сложных задач КДХ состоит в объединении разрозненных данных, полученных из разных систем в единый логически связный, непротиворечивый массив данных, построенный на единой системе нормативно-справочной информации.
Реализации bi системы через создание КХД - это трудоемкий, но правильный путь.

Можно. Современные bi-системы обладают очень обширным функционалом, который позволяет решать часть задач, возложенных по классике на КХД. Например, создавать схемы данных внутри bi-системы, т.е. объединять различные таблицы данных через логические связи, создавать новые вычисляемые поля, делать агрегирование данных в один клик и т.п.
С архитектурной точки зрения перекладывать функции КХД на bi-систему неправильно, но для небольших объемов данных с несложной структурой это вполне можно делать без ущерба для производительности bi-системы и без её существенного усложнения. Например, это вполне подходит для обработки данных малого с среднего бизнеса.

Обработка данных и получение bi-аналитики это производственный процесс, связанный в разработкой ПО и состоящий из определенных этапов. На каждом этапе должны появляться определенные артефакты. Его необходимо знать и соблюдать.
Нельзя полагаться на то, что если собраться на освещение, поговорить и помахать на нем руками, то после этого получится нужный все результат. Нет, не получится. Получится путаница и обманутые ожидания.
Отдельно необходимо обратить внимание на техническую документацию, отсутствие технической документации всегда приводит к анархии. Она обязана быть, пусть даже в самом простом исполнении, но она обязана быть.
Вопрос для самоконтроля. У вас есть, к примеру, описание методики расчетов всех нужных вам статистических показателей? Если нет, то естественно вы будете сталкиваться с ситуацией, когда никто не может объяснить откуда появились те или иные цифры на графике, который вы положили на стол вашему директору.

Одним из ключевых критериев успешности создания и развития bi-системы является вовлеченность исполнителей в проблемы и задачи бизнеса. Людям, которых вы нанимаете на разовые работы на Авито или других профильных сайтах, совершенно неинтересны проблемы вашего бизнеса, им нужно сделать нужный вам расчет, как можно быстрее получить оплату и продолжить искать новых заказчиков.

Да, такие системы существуют. Но они в итоге совсем не бесплатны. Потому что нужны инженеры, чтобы их запустить, нужна инфраструктура, на которой они будут работать. Все это необходимо сопровождать в течение долгого времени в условиях отсутствия техподдержки со стороны вендора.
В итоге сильно дешевле получаются облачные платные российские сервисы при полном отсутствии технических задач, связанных с обеспечением их работоспособности.

Перечислим функции, которые нужны. А вот сколько людей для этого потребуется - зависит от квалификации этих людей и от того, сколько функций каждый из них может выполнять. Как правило, функции необходимы следующие:

1. бизнес аналитик для вникания в потребности бизнеса;
2. системный аналитик для постановки задачи группе разработки;
3. проектировщик КХД, ETL-процессов;
4. системный администратор для инфраструктуры;
5. разработчики со знанием оркестратора ETL-процессов;
6. тестировщики;
7. BI - аналитик для работы с BI - системами;
8. документатор.