Практика бизнес-анализа для BI-систем

Кросс-продажи (cross selling) – это метод продаж, при котором потребителю в дополнение к основным покупкам предлагаются другие товары. Данный метод может быть очень эффективным инструментом повышения эффективности бизнеса, увеличения объема продаж. Кросс-продажи (или перекрестные продажи) основываются на анализе продаж и определении тех товаров, которые потребитель покупает совместно.

Анализ перекрестных продаж необходим для того, чтобы:
Определять наиболее популярные комбинации продуктов и услуг
Определять ключевые продукты, покупка которых влечет за собой покупку дополнительных товаров
Выявлять дополнительные выгоды, дополнительные возможности увеличения объема продаж
Оптимизировать реализацию продуктов в конкретном сегменте, находить новые возможности дополнительных продаж тех или иных продуктов
Выявлять неочевидные закономерности в поведении покупателей
Для анализа кросс-продаж необходимо постоянно собирать статистику по продажам (анализ чеков). Исходя из данной статистики, нужно определиться с позициями, для которых будут выделяться сопутствующие товары. Следующий этап – обнаружение самих сопутствующих товаров – основывается на анализе того, насколько часто каждый дополнительный товар продавался вместе с основным по отношению ко всем продажам основного товара. Например: 2 товара продавались совместно 100 раз за месяц, при этом основной товар по отдельности продавался 10 тысяч раз – такая комбинация будет гораздо менее значительна, чем, если бы основной продавался отдельно 300 раз и совместно с дополнительным — 100. В любом случае интерпретировать результаты исследования кросс-продаж (особенно неожиданные) необходимо очень осторожно.

Рассмотрим пример.

Компания «Степ» занимается оптовой продажей бумаги и канцелярских товаров. Перед руководством встала задача увеличения объемов продаж и расширения влияния на рынке. Усиливающаяся конкуренция требовала от компании нетривиального подхода. Было решено провести анализ кросс-продаж за отчетный месяц, результаты которого приведены ниже. За основной товар была выбрана бумага.

Из таблицы видно, что все товары реализуются с бумагой в разной степени, наиболее сильная связь проявилась между бумагой и файлами, а так же бумагой, скрепками и папками. Руководство пришло к выводу, что необходимо принять меры, позволившие бы бумаге стать основным движущим товаром компании, позволившие бы привлечь новых потребителей, заинтересованных в бумаге и решивших дополнительно приобрести канцтовары.

Решением стало снижение наценки на бумагу, которая составляла 10%, до 1%. В результате доход от продажи бумаги (при объеме продаж отчетного месяца) сократился на 180 тысяч рублей. При этом компания стала позиционировать себя, как поставщик самой дешевой бумаги.
В результате потребители, обратившиеся в компанию за ее «движущим товаром», довольные низкой ценой, принимали решение на приобретение канцелярских товаров, цены на которые были на уровне рыночных (при этом в новом месяце произошел рост цен на 2%). Вот что из этого получилось.

Итак, прирост дохода компании в новом месяце составил 538 651 рубль, а с учетом снижения дохода от продаж бумаги на 358 651 рубль. Низкие цены на бумагу «вытянули» за собой другие товары. При этом повысился и уровень лояльности потребителей, готовых приобретать бумагу практически по себестоимости.

Стоит отметить, что не всегда реализация метода кросс-продаж дает желаемые результаты. Это связано с тем, что иногда бывает трудно определить и выявить пользующие спросом комбинации продуктов из имеющегося многообразия наименований (если у магазина, например, десятки и сотни тысяч различных товаров). Помимо понятных сочетаний, таких как, например, пиджак, рубашки и брюки, у покупателей существует множество других предпочтений и ассоциаций, которые постоянно меняются и которые возможно выявить только путем тщательного анализа данных о покупках (широко известный пример – совместные покупки пива и подгузников по вечерам).

Подробный и непрерывный сбор статистки продаж и анализ чеков может обеспечиваться с помощью специальных инструментов – систем бизнес-аналитики – позволяющих консолидировать и быстро анализировать данные по продажам независимо от того, сколько наименований продается.

В результате, обеспечив постоянный анализ кросс продаж, компания получит следующие выводы:
— Увеличение дохода компании за счет реализации дополнительной продукции
— Увеличение дохода за счет формирования комбинаций продуктов на основе потребительских предпочтений
— Оптимизация торгового пространства, размещение товаров, способствующее совместным продажам
— Снижение издержек на содержание запасов в результате грамотного формирования остатков (более четкое представление того, какой товар и в каком количестве необходим)
— Повышение лояльности потребителей за счет предложения им наиболее востребованных комбинаций товаров

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

Затраты на закупки, в зависимости от отрасли, как правило, составляют от 40 до 60% в структуре себестоимости производства продукции. Поэтому менеджерам компании, занимающимся логистикой и работой с поставщиками, необходимо уделять серьезное внимание сокращению и оптимизации издержек. Один из возможных путей здесь – повышение эффективности работы отдела закупок.

Повышение эффективности предполагает постоянный сбор отчетности, ее структурирование и анализ по ключевым показателям деятельности (KPI) отдела закупок. Сбор отчетности, структурирование и анализ – сложные процессы (особенно в крупной компании с десятками или сотнями тысяч наименований, с сотнями поставщиков и соответствующим отделом закупок). Подходящим решением здесь будет использование специализированного инструмента — BI (системы бизнес-анализа), которая включает в себя возможность консолидации и обработки больших объемов информации, оперативного анализа, создания отчетности (нестандартной в том числе), визуализации всей собранной статистики.

Для того чтобы комплексно оценивать эффективность, работать над ее повышением, необходимо постоянно контролировать показатели (KPI), характеризующие деятельность отдела закупок. Такими показателями являются: время, цены, поставщики.

Контроль фактора времени предполагает сбор статистики по задержкам поставок и по последствиям данных задержек. Здесь во внимание берутся следующие показатели:
— Доля задержанных заказов
— Доля случаев, когда задержка вызвала отсутствие необходимых материалов (остановка производства, невыполнение планов)

При этом у руководителя, контролирующего работу отдела закупок, должна быть возможность видеть задержки в реальном времени, быстро определять ответственных и причины задержек для снижения их вероятности в будущем. Оперативный контроль и своевременная реакция – необходимые составляющие повышения эффективности работы.

Фактор цены подразумевает сравнения фактических и планируемых закупочных цен, выявление отклонения от бюджета. Всестороннему анализу должны подвергаться такие показатели как:
— Цены на закупаемые ресурсы
— Расчетные цены на закупку
— Индексы средних цен по товарным группам
— Изменения цен и анализ причин этих изменений (переговоры, рационализация перевозок и т. п.)
— Эффективность форвардных закупок (сравнение с обычными)
— Доля закупочных ордеров, выданных без договоренности о твердой цене и т.п.
— Отношение объема вложений в товарные запасы к объему продаж

Постоянный сбор статистики и анализ по данным показателям позволят грамотно определять пределы закупочных цен, бюджет на закупки, планировать процесс закупок, исходя из выявленных тенденций. Грамотное выставление нормативов позволит руководителю быстро выявлять отклонения в работе каждого менеджера по закупкам и всего отдела в целом.

Под фактором поставщика понимается соответствие качества и объемов его поставок условиям, зафиксированным в договорах. Следующие параметры характеризуют надежность поставщика:
— Доля просроченных заказов, отказы от поставок
— Доля поставок, не соответствующих заявленному качеству
— Доля заказов, доставленных вопреки договоренности не единой партией
— Частота изменения цен поставщика (характер изменений: спонтанный или цикличный)

Такая статистика позволит комплексно оценить надежность того или иного поставщика, вовремя выявить нежелательные отклонения и отказаться от сотрудничества с ним, либо, наоборот, укрепить существующие отношения. В комплексе с информацией об удаленности того или иного поставщика, о наличии у него резервных мощностей и о его финансовом положении данные показатели могут послужить основой для создания модели отношений с поставщиками (размер, их количество, цены, удаленность, сроки поставок и так далее) и дальнейшей работы по их поиску, исходя из условий данной модели.

Постоянный, комплексный анализ ключевых показателей эффективности (KPI) отдела закупок будет способствовать принятию правильных и своевременных решений, позволит оптимизировать процессы, связанные с закупом, сделает работу менеджеров более прозрачной и подконтрольной.

В результате создания такой системы KPI компания получит следующие выгоды:
— сокращение издержек на закупки
— снижение брака закупаемой продукции
— повышение доли закупок, совершенных вовремя
— постоянное наличие нужных материалов, выполнение планов
— стандартизация работы менеджеров по закупкам, исключение возможности нецелевого расходования средств
— снижение доли транспортных затрат

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

Шаг 1.
Скачайте и установите бесплатную версию, имеющую неограниченный срок действия лицензии с сайта создателя продукта. Скачать бесплатную версию Qlik Sense Desktop.

Шаг 2.
Определитесь, по какой логике и по какой формуле Вы хотите получить результат, Ваш расчётный заказ товара.
Например, Вы хотите, на основе статистики продаж за последние три месяца, рассчитать среднедневные продажи (SaleDay). И сделать заказ таким образом, чтобы в момент прихода заказа на склад Остаток стал бы равен Недельной потребности плюс Три дня на случай транспортных перебоев. Итак, Вы Хотите получить в момент прихода заказа складской остаток в N = 10 дней средних продаж*.
*Норматив N=«10 дней» можно как задавать, так и рассчитывать на основе Вашей логики (с учётом срока хранения, складских площадей, времени в пути, предполагаемого уровня сервиса, желаемой рентабельности и тп.)
Тогда формула заказа будет выглядеть так: Сложить остаток на складе и уже заказанный товар в момент заказа (получить StockToday), Вычесть из него Время в пути (DeliveryTime) умноженное на SaleDay. Если StockToday-(DeliveryTime*SaleDay) — N*SaleDay > 0, то Заказ = 0. В противном случае, Заказ = МИН (N*SaleDay, N*SaleDay+ DeliveryTime*SaleDay – StockToday)
Эта формула «дополнит» ваш складской остаток до максимум SaleDay*N (10 дней продаж), с учётом тех остатков, которые ожидаются на складе в момент прихода товара.

Шаг 3.
Теперь определитесь, откуда будете брать исходные и в какой детализации Вам нужен результат.
Предположим, Вы хотите отправлять заказ Поставщику. Чтобы поставщик легко узнавал и быстро подтверждал нам товар из него, в заказе должны быть столбцы «Поставщик», «Вид товара», «код товара», «Наименование у поставщика», «Группа товара у поставщика».
Предположим, что по какой-то причине часть информации в Вашей учётной системе отсутствует. Например, нет информации по «Наименованию у поставщика» и «Группа товара у поставщика», которые не совпадают с принятыми в Вашей компании и занесёнными в Вашу номенклатуру «Наименованием» и «Группой товара». А IT отдел отказывается вносить новое поле в базу данных. Не беда. Сделайте в Excel – файле страничку, с той расширенной классификацией, которая Вам удобна. Например, добавьте сами столбцы «Наименование у поставщика» и «Группа товара у поставщика». Qlik Sense Desktop их увидит и внесёт в Ваш итоговый файл заказа.
Возможно, что нужная Вам информация по продажам и остаткам находится в реестре 1с в виде строк с датой и кодом товара. Возможно, в 1с не полная информация, и Вы будете брать её из Excel-файлов, различных баз данных или веб-файлов.

Шаг 4.
Загружаем исходные данные в Qlick Sense Desktop. Вы можете как подключиться к базе данных (например, нужным массивам в 1с или другой базе данных через стандартное подключение, предусмотренное в программе, ODBC, OLE DB, или к веб-файлу), так и просто выбрать, например, в Вашей папке на Вашем компьютере Ваш файл Excel с требуемой информацией. Если Вы будете в процессе работы обновлять в нём информацию, но место положение источника данных менять не будете, то никаких новых усилий (завтра, когда данные обновятся) делать не нужно. Один раз укажите источник, и скрипт загрузки его сохранит пока вы его снова не поменяете. Здесь я указал как путь к данным дорогу к моему файлу Excel, в котором на разных листах хранятся параметры номенклатуры, целевые показатели, ограничения и прочее, нужное закупщику для управления параметрами заказа.

Данные могут загружаться в программу из разных папок, разных источников и быть разнотипными. Можно «разбить» загрузку на куски, и ежедневно подгружать лишь обновляемую информацию. Например, о новых продажах и остатках.

Шаг 5.
После загрузки исходных данных, рекомендую сразу их обработать, оставить только нужные поля и перевести в формат .qvd (оптимизированный для программы). Он позволяет работать с данными ещё быстрее и без обращения к внешним базам. Сохраняет всю информацию «в себе». После этого можно удалить ненужные первоначальные данные из приложения, уменьшив таким образом его размер.
Рекомендую регулярно сохранять (особенно если у Вас не устойчивая связь с источниками, например базой 1с) .qvd-файлы у себя «в надёжном месте». Чтобы в случае, если, например, по какой-то причине не сможете достучаться до корпоративного источника, Вы могли бы подгрузить данные из своего «backup», .qvd-файла. Сделать это можно включив в скрипт загрузки строку:
store NazvanieTable into [lib://Название Папки с резервными данными/NazvanieTable.qvd];

Шаг 6.
Свяжите разрозненные исходные данные по ключу. Для визуального представления связи между загруженными данными в Qlick Sense Desktop есть удобный инструмент «Модель данных», с возможностью Предварительного просмотра отдельных таблиц.

В этом примере несколько массивов данных (параметры заказа, продажи, заказ) связаны между собой по ключу «Код Товара», а через ключ «Поставщик» в таблице Номенклатура получают дополнительно связь с Информацией о поставщике. Чтобы ключ работал, нужно чтобы название поля было идентично. В исходных это не всегда так. Чтобы переименовать поле при загрузке, пользуются стандартным оператором «as». Например, если в одном из источников название поля «OrderDataCodSQU», а в других источниках он назвается «Штрих-код», при загрузке данных надо указать: load OrderDataCodSQU as «Штрих-код».

Шаг 7.
Сделайте таблицу с Результатом Заказа на отдельном Листе приложения, например, такую.

Формулы могут как считаться в таблице, так и быть уже предварительно рассчитанными в момент загрузки данных. Так поступать иногда удобнее: мы получаем результаты уже на стадии загрузки, а не в таблице. Поэтому сможем их использовать как готовые, а не прописывать в разных таблицах одни и те же формулы. Функции, выражения и операторы, применяемые для формул в таблицах и в скрипте при загрузке данных, мало чем отличаются от аналогичных в Excel и SQL запросах, интуитивно понятны и просты (sum, sin, log, round, call, do, for, if, +,-,/,*, load, group by, left join и тп). В справке Qlik Sense есть их подробный перечень с примерами.

На отдельном листе рекомендую контролировать параметры заказа по каждому коду товара, чтобы можно было быстро посмотреть и проверить, верно ли закачены Ваши исходные данные. Особенно если Вы «подгоняете» Ваш заказ под лимит бюджета, используете МИН МАХ, кратность, Out of Stock Point, коэффициенты сезонности, Среднедневные продажи, Упущенные продажи и прочие параметры, которые не обязательно знать поставщику в его файле заказа, но полезно контролировать Вам, так как они могут участвовать в расчёте заказа (если Ваша логика расчёта это предусматривает).

В приложении есть прекрасная возможность любой фильтрации и графического отображения. Включая удобный вариант отбора данных с помощью «лассо». После отбора параметров в фильтре или лассо, графики и таблицы мгновенно пересчитываются на всех листах приложения.

Шаг 8.
Сохраните таблицу с заказом в Excel. В бесплатной версии это можно сделать через клик на правую кнопку мыши, «Экспортировать данные», «Сохранить как». В платных версиях делать это более удобно, достаточно нажать на иконку или можно даже запланировать e-mail рассылку результата по адресам (например, Вашему и Вашим поставщикам с заданной Вами периодичностью).

Если Вам через некоторое время снова потребуется расчёт заказа, не забудьте обновить данные (нажать «Загрузить данные»). В платной версии можно настроить автоматическое обновление по расписанию, без Вашего участия.

Как видим, даже бесплатная версия Qlik Sense Desktop может быстро и качественно, под управляемую Вами логику принятия решения, рассчитать Заказ товара. В платной версии есть приятные дополнительные возможности, которые упростят жизнь закупщика, аналитика или маркетолога.

Автор — Алексей Скородумов

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

Если вам нужно единое представление ваших данных — выбирайте Qlik Sense
Если вам нужны просто красивые визуализации — выбирайте Tableau
Если Вам нужно недорогое базовое решение — выбирайте Microsoft BI

Конечно, Tableau предлагает унифицированное представление данных, но не настолько эффективно, как Qlik Sense. Qlik Sense предоставляет много визуальной аналитики, но не так много, как Tableau.

Tableau впечатляет

Без сомнения, Tableau Software задает темп для легкого в использовании программного обеспечения по визуализации и исследованию данных. На практике это означает, что бизнес-пользователи могут получить доступ к их данным, как правило, без поддержки IT-персонала и создавать графики, диаграммы и приборные панели наиболее понятным для них способом. Работа происходит в TableauDesktop, который является автономной средой и может проводить анализ данных из in-memory базы данных Tableau или из внешних источников данных – баз данных, облачных источников данных, электронных таблиц и т.д. В корпоративном окружении Tableau Server действует как центральное средство для доступа к данным, предоставления визуализаций, контроля безопасности и управления пользовательским доступом. TableauServer распространяет визуализации через веб-браузер практически на любые устройства, которые поддерживают веб-браузер – ПК и мобильные устройства.
Плюсы:Привлекательные визуализации, множество украшений.
Минусы: Немного минусов в вычислительной аналитике и слабой расширяемости.

— Архитектура Tableau Server масштабируема, и это хорошо продемонстрировано бесплатным сервисом Tableau Public, где миллионы визуализаций (хотя и довольно простых) выкладываются каждый день. Есть некоторый уровень расширяемости, например, кодирование собственных приложений изначально не поддерживается, но пользователи могут использовать XML-код для этого.
— Один из наиболее интригующих аспектов Tableau – это интеграция с аналитическим языком R. Это такой разительный контраст – установка Tableau на простоту в использовании и не такой простой в использовании язык программирования R. Но это дает продвинутым пользователям и программистам возможность добавлять другие виды аналитики в окружение Tableauи в частности статистический анализ и предиктивную аналитику. Это контрастирует с некоторыми конкурентами (например, Spotfire), которые вместе с легкими в использовании возможностями визуализации предлагают легкие в использовании инструменты статистики и прогнозной аналитики.
— Я начал с того, что Tableau задает темп, но в реальности, на данный момент с ним сравнялись несколько других продуктов. QlikSense были перепроектированы для упрощения пользовательского опыта, и появились такие облачные продукты, как Sisense и GoodData. И конечно, мы не должны забывать последнюю вылазку Microsoft в мир визуализации и исследования данных с их Power BI Designer. Сейчас он незрелый, но станет прорывным.
— Tableau- не корпоративное решение для бизнес-аналитики, и тот факт, что несколько других поставщиков используют его, как фронт-энд для визуализации данных выдает его настоящее предназначение. Это мощное дополнение к более широкому решению для бизнес-аналитики.
— Как организация, Tableau уделяют очень много внимания настроениям бизнес-пользователей. Их маркетинговая и торговая деятельность выглядит немного агрессивной, но быстрый рост компании показывает ее эффективность. Они взяли бизнес-аналитику и в процессе почти превратили ее в потребительский продукт, с ассоциирующимся стилем маркетинга и брендинга. Есть опасности, связанные с этим, но Tableau сосредотачивается на требованиях бизнес-пользователей, которые просто хотят видеть свои данные в осмысленном формате.

Qlik Sense погружайтесь в данные

Qlik Sense– это drag-and-drop платформа для визуализации и исследования данных, способная удовлетворить большинство требований бизнес-аналитики, помимо сверхтяжелой производственной отчетности. Она предоставляет простой в использовании интерфейс, подходящий для любого уровня навыков, и имеет большую долю встроенного искусственного интеллекта для помощи пользователям. Графики, таблицы и приборные панели – его основные средства, почти для любого уровня сложности или простоты. Пользователи могут делиться своими визуализациями с помощью различных механизмов и платформ для мобильного доступа, на любом устройстве (визуализации работают на HTML5).

Плюсы:Очень умное структурирование данных для аналитических целей.
Минусы: Их нет, но хотелось бы больше возможностей вычислительной аналитики.

— Возможно, наиболее значительным отличием Qlik Sense является ассоциативный движок обработки данных. Он понимает связи между различными источниками данных и может предложить ранее неосознаваемые отношения. Многие поставщики используют термин «обнаружение данных», но данная возможность придает этому выражению новое значение.
— Программа поставляется в двух вариантах. Qlik Sense Desktop, бесплатный для загрузки и никаким образом не ограниченный. Он запускается на WindowsПК и способен работать с множеством источников данных. QlikSense, как платформа, запускается на сервере (серверах) и предоставляет пользователям браузерный интерфейс. Оба варианта имеют сходный функционал, но серверная платформа может обслуживать глобально распределенные предприятия, с помощью ее превосходной масштабируемости и распределенной архитектуры. Qlik всегда предлагает превосходную систему управления своей средой, и IT-персонал имеет инструменты для проверки сохранности, однозначности данных и предоставления защищенного доступа к ним.
— Очень важной особенностью Qlik Sense является расширяемость. Возможно это не самая привлекательная особенность, но она отличает взрослые продукты от детей в мире корпоративной бизнес-аналитики. Фактически, Qlik Sense– это одно большое расширение, построенное само на себе! Большое количество APIдоступно для встраивания визуализаций в проектируемые приложения, создания пользовательских коннекторов и построения новых типов визуализаций. У разработчиков не будет никаких проблем с расширением Qlik Sense, если это необходимо. Наконец, QlikSense быстрый – это гарантирует его ассоциативный in-memory движок.
— QlikSense превосходно подходит тем организациям, которым необходимы простые в использовании инструменты для визуализации и исследования данных, но могут также понадобиться дополнительные возможности для решения более сложных задач. Это корпоративное решение со своей системой управления и возможностями поддержки разработчика. Компании, которые ищут платформу для корпоративного производства отчетности (счета-фактуры и т.д.), должны поискать где-нибудь в другом месте, т.к. пользователи, которым нужны несколько простых диаграмм, найдут QlikSense слишком перегруженным.
— QlikSense не поставляется с какими-либо расширенными возможностями статистической или предиктивной аналитики, но это и не его область.

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

В этой статье хочу поделиться личными наблюдениями вот за каким процессом. Как компании проходят путь от пункта «Нам достаточно стандартных отчетов в корпоративной учетной системе » до «Подготовка отчетности требует много времени и ресурсов. Пора все автоматизировать!». Надеюсь, что ниже изложенное поможет кому-то избежать некоторых ошибок и правильно выбрать решение Business Intelligence (BI-платформу).

Стадия первая. Прелюдия.

У руководства компании возникает потребность в регулярной отчетности (продажи, план-факт, финансовое состояние и прочее). Отчетность готовят специалисты соответствующих бизнес-подразделений (финансовый блок, коммерческая служба, логистика и т.д.). В этих подразделениях люди вынуждены совмещать свои основные обязанности (ведение учета, сопровождение договоров и т.п.) и подготовку отчетности. Из инструментов у них типовые отчеты в учетной системе и Excel. Причем с использованием Excel у них обычно не все в порядке.

Стадия вторая. Возбуждение.

Затем у руководителей растут аппетиты (растет компания, растет количество управленцев, приходят руководители с новым взглядом на бизнес и т.д.), и они начинают запрашивать все больше разовых (ad-hoc) отчетов, чтобы взглянуть на бизнес под разными углами. С ростом компании таких отчетов все больше, часть из них переходит в разряд регулярных, и у специалистов от бизнеса возникают проблемы с подготовкой всего этого многообразия в срок. В поисках спасения они начинают требовать от ИТ взять часть работы на себя, а именно, просят различные выгрузки из базы учетной системы (УС) и все чаще обращаются с требованиями разработать в УС новые отчеты.

Стадия третья. Зачатие (Эмбрион).

После всех этих процессов в компании начинает образовываться направление, именуемое бизнесом «аналитики». Так, в компании может появиться SQL-разработчик (с этого я начал путь) и специалист/ты, владеющие Excel и прочими программами из пакета Office. Развитие на этой стадии может проходить по-разному. Я лично видел, что со временем количество аналитиков может стать довольно большим (каждое подразделение обзаводится 1-2 специалистами или же в компании образуется отдельное подразделение). Я, кстати, мог оказаться и в этой роли, но мне повезло, что в университете меня не учили Excel’ю и на первом собеседовании тетенька из отдела HR сказала «ай-ай-ай». Мои уверения её в том, что я быстро (за пару недель) освою сей продукт, скорее всего, породили в ней мысль: «Явно передо мной самоуверенный болван, ибо у нас тут другие тетеньки годами работают на компутере и все еще боятся этого зверя, а этот наглый шкет такое заявляет». Лично мне быстро наскучило создавать разные выгрузки, и я начал интересоваться, а что же есть подходящего на рынке. Но в 2006 году я еще даже не знал термина BI, поэтому поиски были недолгими. Остановился я в результате на технологии OLAP.

Стадия четвертая. Избавление ИТ от ad-hoc или рождение OLAP. Начало проекта BI.

Как мне кажется, OLAP — уже довольно распространенная вещь, и с высокой долей вероятности в компании появляются люди, работавшие с OLAP-кубами как пользователи или разработчики. Они-то и сеят мысль о том, что внедрение кубов станет избавлением от многих проблем и облегчит жизнь большого количества сотрудников. Или же этот человек имел опыт с некой BI-системой. Поскольку сейчас речь скорее не о самых крупных компаниях, то людей, предлагающих что-то из SAP Business Objects, IBM Cognos, Oracle BI перестанут слушать, когда увидят ценник. В крупных же компаниях уже давно что-нибудь да есть, как минимум Microsoft BI (SQL Analysis Services и Reporting Services). «Как минимум» здесь не пренебрежение, просто это довольно распространенные решения, так как поставляются в комплекте в сервером БД, что часто приводит к выбору именно этой платформы.

Поскольку мы все хотим, чтобы наш проект вырос хорошим, добрым, сильным и здоровым, важно не совершить ряд типичных ошибок.

Ошибка первая. Спонтанный выбор системы.

Как это бывает? Поскольку тем самым человеком может быть либо лицо высокопоставленное, либо весьма про-активный специалист от ИТ, отдающий предпочтение некому продукту, на выбор системы не отводится никакого времени, а просто покупается то, что пролоббировали эти люди. Это может привести к тому, что выбранный продукт не очень-то приживется в компании и, решив одни проблемы, заменит их другими.
Думаю, что перед выбором следуют ответить хотя бы на следующие несколько вопросов (подробнее я писал об этом в прошлой статье):
Для кого предназначена система (кто основной потребитель)?
Какие предпочтения в компании в способах доставки данных до потребителя?
С какими объемами данных придется иметь дело?
Сколько компания готова за все это заплатить и тратить на дальнейшее развитие и обслуживание?

Хотел бы еще добавить сюда добавить вопрос, о котором умолчал ранее:
Насколько в системе можно разделить функционал между ИТ и аналитиками, отвечающими за подготовку презентаций, аналитических записок и т.п.

Поясню суть вопроса. В некоторых системах можно довольно просто поделить функции следующим образом: ИТ отвечает за разработку моделей данных, а уже аналитики занимаются dashboard’ами, отчетными формами — тем, что видят конечные бизнес-пользователи. Зачем это? Требования к внешнему виду отчетов меняются зачастую чаще всего. Плюс, один и тот же по сути отчет (набор данных) может существовать в нескольких вариациях для разных заказчиков. В добавок, в оформлении все-таки важна эстетика, до которой не всегда есть дело на которую не хватает времени у ИТ, их дело — чтобы все это работало. Это особенно важно, если у вас хорошие разработчики с БОЛЬШОЙ зарплатой.
Дабы избежать проблему, терапию надо начинать своевременно. Хорошо, если на 2-ой-3-й стадиях ИТ систематизирует потребности, отвечая на первый вопрос и подталкивает бизнес к вопросу о внедрении BI. На этих стадиях заказчики полны энтузиазма и готовы обсуждать разные варианты, а главное — сформулировать свои требования, что, по моему мнению, является основной задачей бизнес-пользователей в этом проекте (опять же см. предыдущую статью).

Ошибка вторая. DWH или его отсутствие.

Бывает, что перед внедрением собственно системы подготовки автоматизированной отчетности, никто не озаботился тем, что все-таки было бы неплохо иметь хранилище данных (DWH). В результате, это приводит к тому, что OLAP или отчеты обращаются к большому числу источников данных, различным витринам, которые сформировались на 3-ей стадии. Из этого рождается хаос. Развивать и поддерживать систему после этого становится крайне затруднительно, и может оказаться так, что все придется строить заново.
Выбору системы для DWH тоже нужно уделить отдельное время, но зачастую это та же СУБД, на которой работает учетная система (УС). Такой подход вполне оправдан, так как в компании уже есть специалисты по продукту и может получиться экономия на лицензиях. Конечно, это не относится к случаю, когда в УС копится очень много данных (большое количество транзакций и СУБД выбиралась именно для этого) и лучше поискать другую СУБД, более подходящую для задач аналитики (есть механизмы колоночного хранения, размещение таблиц в оперативной памяти и т.п.).
Еще возможен вариант интеграции учетной системы с неким BI инструментом (видел предложения 1С + QlikView, от некоторых интеграторов), но тут я не совсем в курсе как всё устроено. Буду рад, если кто-то напишет об этом в комментариях или в личку.

Ошибка третья. Игнорирование того факта, что проект уже давно надо было начать.

Часто компании застревают надолго во второй стадии и это приводит к тому, что появляется множество различных витрин данных, кучи Excel-файлов с макросами для обработки данных и, конечно же, никто это никак не систематизирует и не описывает. Начиная в итоге проект BI, вы потратите намного больше времени на систематизацию требований, и придется столкнуться с некоторым сопротивлением со стороны пользователей, которые уже давно привыкли к тому, что есть. Например, они не захотят самостоятельно работать с кубами, потому как Вася из ИТ всегда сам делал им нужные выгрузки, тем самым сильно их избаловав. Все должно быть вовремя!

Итог.
В заключение хотел бы сказать, что хорошо, когда вы можете потратить время на встречи с интеграторами для ознакомления с различными системами, но такое я видел только в очень крупной компании, в которой стоимость проекта DWH+BI оценивалась в сотни тысяч долларов. Тут была и заинтересованность менеджмента (ответственность за бюджет), и интерес внедренцев (крупный заказ). И тянулось все это год. В компаниях небольших такое просто невозможно. К сожалению, я не встречал интеграторов (возможно, плохо искал), предоставляющих широкую экспертизу. Обычно они концентрируются на 1-2 продуктах. Сам лично общался с 10 компаниями-интеграторами примерно с таким раскладом:2 занимаются Microsoft BI, 2 — QlikView/ Qlik Sense, 3 — Cognos BI, 1 -Tableau, 1 — Cognos и Microsoft, 1 — QlikView/ Qlik Sense и Tableau.

В общем, будьте готовы к тому, что ответственность за выбор и дальнейшую судьбу проекта будете нести именно Вы — читатели этой статьи, которая, надеюсь, вам хоть как-то поможет.

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

Визуализация данных: R и Tableau Desktop / Алексей Юркевич, Дмитрий Щегрикович / Wargaming
Алексей и Дмитрий поделились своим опытом визуального представления данных с помощью приложений R и Tableau Desktop. В рассказе про R Алексей сделал акцент на нескольких пакетах, которые позволяют начать визуализацию данных без специальной подготовки.
Дмитрий рассказал о преимуществах использования Tableau Desktop для визуализации данных, а также предостерег от нескольких распространенных ошибок, которые можно допустить при представлении данных заказчику.

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

Визуализация данных для бизнеса при помощи BI QlikView / Александр Гончар / А2 Консалтинг

Александр показал примеры использования BI-системы QlikView в различных белорусских компаниях. Анализ и визуализация данных, проводимые с использованием QlikView, помогает клиентам А2 Консалтинг не только в оперативном режиме следить за состоянием бизнеса, но и находить способы увеличения доходности.

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

Некоторое время назад я написал статью, в которой относительно кратко описал механику работы с BI системами на примере IBM Cognos BI. Я решил немного развить тему, и сделать своеобразное «сравнение» аналитических продуктов IBM Cognos и QlikView.
Сам материал публикации нельзя назвать сравнением, это больше инструкция «с чего начать?». Я продемонстрирую как сделать относительно несложный отчет 2-мя инструментами — IBM Cognos BI и QlikView, а вы уже сами решите, какой из них больше вам подходит (или не подходит).
Материал статьи будет изложен в виде комбинации немного текста и много видео (любители почитать могут сходить в статью про IBM Cognos BI). Я надеюсь, что такой способ донесения информации будет удобен и сократит время создания материала

Примечания
— Все материалы статьи готовились с помощью trial версий программного обеспечения (IBM Cognos Express и QlikView Personal Edition). Это значит, что каждый из вас может зайти на официальный сайт, скачать триал версию и повторить все продемонстрированное;
— У меня есть богатый опыт работы с продуктами IBM Cognos (имеется ряд успешных проектов, сертификаты и т. д.), в то же время, опыта работы с продуктами Qlik значительно меньше;
— Зачастую, одна и та же задача может иметь несколько вариантов решения, и если я выбрал и продемонстрировал конкретное решение, это не значит, что именно это решение является лучшим или наиболее оптимальным, просто в настоящий момент я решил выполнить конкретную реализацию именно так.

Постановка задачи
Я много думал какой должна быть тестовая задача. С одной стороны, мне хотелось показать побольше функционала, с другой, чем больше функций я рассмотрю, тем объемней становится материал. В итоге я решил, что рассмотренного материала должно быть достаточно, чтобы непосвященный человек мог начать работу с рассматриваемыми инструментами.
Итак, предположим, что некоторый заказчик предоставил нам образец отчета, сделанного в Excel (см. скриншот) и хочет, чтобы мы сделали такой же, выбранным BI инструментом, на базе их витрины данных.

Конечно же, в реальной жизни, реальный заказчик, вряд ли предоставит вам такой структурированный и формализованный образец отчета. Реальные образцы зачастую имеют весьма произвольную форму. Но фактически всегда, все отчеты произвольного вида формализуются и структурируются, а потом реализуются в BI системах.
Также как и с отчетом, клиент вероятнее всего вам не предоставит готовую витрину данных и вам придется ее построить самостоятельно, на базе уже существующего хранилища данных (чаще всего сложного и неоднородного). Но в нашем случае мы уже будем располагать готовой витриной данных.

Метаданные
Если говорить простым языком, то метаданные в BI системах, это механизм, с помощью которого пользователь показывает BI системе каким образом организована система хранения данных и как с этими данными работать. Каждая известная мне BI система имеет механизм метаданных. Метаданные — это не всегда просто информация об источнике данных, в ряде случаев, метаданными выступают внутренние механизмы хранения BI системы (например, OLAP кубы). К примеру, метаданными в Cognos BI является формализованное описание структуры системы хранения данных, а в QlikView — таблицы с данными, загруженные в проприетарное хранилище и механизмы их формирования.
Я могу выделить 2 диаметрально противоположных подхода к разработке метаданных:
1) Минималистичный — метаданные включают в себя тот минимум, который необходим для решения конкретной задачи. Чаще всего такой подход применяют тогда, когда необходимо максимально быстро решить конкретную задачу (построить конкретный отчет). Плюсом такого подхода является очень высокая скорость разработки, недостатком — неуниверсальность, отсутствие потенциала к расширению, ограниченные возможности для построения аналитиком произвольных отчетов. Также, при разработке метаданных в быстром темпе, разработчики часто пренебрегают правилами лучших практик;
2) Универсальный — метаданные включают в себя максимальное описание источника данных. Такой подход применяют тогда, когда нам необходимо сделать универсальный инструмент для аналитика. Плюсами такого подхода являются высокий потенциал к расширению (обычно в такие метаданные легко добавить новый атрибут, измерение или показатель), универсальность для аналитика (аналитик может быстро и относительно просто строить отчеты фактически любого уровня детализации). Среди недостатков можно отметить длительное время разработки и пониженную скорость работы отчетов на больших объемах данных.

В нашем случае, я постараюсь остановится на золотой середине. Т. е. в метаданные я не буду включать те таблицы, которые не нужны для построения нашего отчета. Но при этом я постараюсь сохранить потенциал к расширению и учесть правила лучших практик.

Метаданные для IBM Cognos BI

Метаданные для QlikView

Отчеты

Когда метаданные готовы, мы можем приступать к разработке отчетов. В процессе разработки отчетов я также буду стараться найти некий компромисс между скоростью разработки отчета и его универсальностью. В принципе все серьезные BI инструменты поддерживают весьма широкий перечень функций (возможность создания параметризованных отчетов, Drill-Down и Drill-Trouth связи, циклическое отображение элементов и т. д.), в данной статье я постараюсь использовать исключительно базовый функционал.

Разработка отчета в IBM Cognos BI

Разработка отчета в QlikView
С моей точки зрения, разрабатывая статический регламентный отчет в QlikView, я поступаю не очень справедливо, т. к. QlikView больше ориентирован на интерактивный анализ данных в режиме реального времени. С другой стороны, моя задача показать базовую механику работы с инструментом, а для этой цели подойдет решение любой тематической задачи.

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!