Практика бизнес-анализа для BI-систем

Хотите, чтобы ваши информационные панели Power BI работали быстрее? Следуйте этим рекомендациям.

Лучшие практики использования отношений Fact/Dim в табличных моделях основаны на дизайне Kimball DW. Этот дизайн интегрирован в вычислительный механизм VertiPaq таким образом, чтобы максимизировать производительность по большим наборам данных и многим измерениям, и может использоваться как бизнес-пользователями, так и продвинутыми техническими ресурсами.

Хотя гибкость механизма VertiPaq позволяет использовать практически любую модель данных, в Kimball есть специальные методы, обеспечивающие высочайшую производительность и простоту реализации этого вычислительного движка.

СОВЕТ №1 ХРАНИТЕ ДАННЫЕ В ЦЕЛОЧИСЛЕННЫХ ЗНАЧЕНИЯХ

Движок VertiPaq построен под целые числа и оптимизирован под них. Из этого следует ряд правил по созданию моделей с максимальным быстродействием и максимальной эффективностью:

• Таблицы фактов должны содержать только целочисленные значения.
• Все объединения должны базироваться на целочисленных значениях.
• Даты объединяются в виде целых чисел в формате ГГГГММДД, они хорошо оптимизированы и настроены для проведения очень сложной и комплексной аналитики временных рядов.
• Размеры строковых значений (даже в измерениях) должны быть максимально уменьшены – 255 – хорошо, 127 – лучше, 31-63 – еще лучше.

Примечание: есть новые функции и новые методы, которые позволят людям игнорировать эти ограничения. Это новые и очень правильные рекомендации, которые на данный момент не широко известны, а их использование не является для людей очевидным. Мы сможем легко справиться с этими ограничениями в будущем.

СОВЕТ №2 РАЗМЕРНЫЕ СВЯЗИ

Лучшая производительность будет зависеть от того, как измерения распределяются в памяти, а вычисления хранятся в кэше на основе объединений, и при оптимизации этого кэша и можно получить самую высокую производительность. Кэш использует понятия HOT и COLD для оптимизации хранения данных – данные HOT получают самый быстрый ответ, а для данных COLD требуется немного больше времени. Чтобы максимизировать то, что может остаться в HOT-кэше, мы следуем следующим рекомендациям:

• Объединения целочисленных значений.
• Минимизация мощности измерений.
• Самая высокая производительность достигается при сохранении мощности DIM ниже 127k (выше этого значения производительности начнет ухудшаться).
• Перемещение атрибутов 2 типа в таблицы фактов и разделение их по измерениям.

СОВЕТ №3 ИЗМЕРЕНИЕ ДАТЫ

Измерение даты в механизме VertiPaq было специально настроено для аналитики на основе времени, так чтобы не существовало другого механизма, который предлагает такой же уровень динамического анализа на основе времени как для бизнес-пользователей, так и для исследователей данных. Если вы не знакомы с тем, что табличная модель может делать с аналитикой, основанной на времени, я настоятельно рекомендую ознакомиться со статьями Марко Руссо, посвященными анализу времени.

• Измерение даты на основе целочисленного объединения Datekey для ГГГГММДД.
• Динамические вычисления и расчеты по DateDim, а также особенности и функции в измерении.
• Стандартный DateDim значительно упрощает включение этих функций.

DateDim также может создаваться для минимизации обновлений данных, разбиения кубов и сокращения общих расходов на облачные вычисления при одновременном повышении производительности.

• Учебный центр по технологиям анализа данных и BI: расписание/запись на учебные курсы, тестирование разработчиков — https://education.biconsult.ru/
• Присоединяйтесь к QUBIC – сообщество профессионалов в области BI! Наши страницы в соц.сетях – расписание учебных курсов, бесплатные учебные материалы, анонсы мероприятий: https://vk.com/club165575964 и https://www.facebook.com/qubicspb
• Неофициальный форум разработчиков QlikView & Qlik Sense Russian forum
• Канал на Youtube – много обучающих видео и записи вебинаров
• Готовые решения “Конструктор финансовой отчетности” и “Анализ продаж”