RSS
16 июля 2017 
gromych Обзор доступных источников данных для Qlik Sense и Power BI, а также сравнение процессов импорта нескольких видов данных.
Доступные источники данных
Как Qlik Sense так и Power BI позволяют подключаться к растущему числу источников.
Полный список для Qlik Sense.
Для Power BI.
Я должен предупредить, что если определённый источник данных, который у вас есть, не указан в списке, это не означает, что вы не можете его использовать. Может быть понадобится просто определённый промежуточный шаг, прежде чем вы сможете импортировать данные в инструмент.
Для большинства данных будет решение, существующие в обоих инструментах, но сложность процесса в каждом из них будет различной.
Общие источники данных: SQL Server
SQL Server это один из самых популярных источников данных, который мы встретим в рабочей среде, поэтому это первый источник, который я должен был протестировать в обоих инструментах.
В этом случае я использовал базу данных World Wide Importers в SQL Server 2016. Сначала я создал на SQL-сервере представления данных, и импортировал данные как в PowerBI, так и в Qlik Sense.
В обоих случаях это было очень легко:
Закладка «Данные» в Power BI Desktop
Диалоговое окно «Power BI SQL Server»
А сейчас тот же процесс в Qlik Sense с тем же представлением из SQL Server:
Qlik Sense Screen Selector
Создание новой связи в Qlik Sense
Запись параметров для SQL Server
Экран предварительного просмотра данных
Кнопка Загрузка данных (Load data) начинает процесс импорта данных
Доступные представления данных после импорта
Общее время загрузки одной таблицы в каждом инструменте около двух минут. Очевидно, что время варьируется в зависимости от местонахождения сервера и от размера и числа таблиц.
Ключевые различия:
Если вы загружаете таблицу или представление с сервера базы данных, то различий практически нет; но ситуация меняется, если вам требуются вычисляемые поля, либо другая обработка данных.
Разница при загрузке данных — это возможность предварительного просмотра данных таблицы. В Power BI вы можете просмотреть весь набор данных в двух разных экранах: экране данных и экране редактирования запроса. В каждом случае вы можете видеть каждое поле, а на экране данных вы можете прокручивать каждую строку. Предварительный просмотр данных в Qlik Sense — это очень ограниченный просмотр, как показано выше, усеченная версия, показывающая только 3 поля. Есть способы увидеть исходные данные, но это не так просто как в Power BI, особенно если вы использовали собственный скрипт для ввода данных.
CSV, текстовые файлы и веб-таблицы:
Я тестировал оба инструмента по следующим данным:
Перечень стран и их население из Википедии
Скриншот данных для импорта
Ключевые различия:
Power BI распознает все поля в виде текста или типа «Any». Все было легко преобразовать, за исключением того, что % населения мира, которому требуется символ %, был урезан до преобразования. Примечание — показанное выше зеленой стрелкой игнорируется в Power BI. Также Power BI по умолчанию обрабатывает заголовки как данные. И затем только заголовки сдвигают с помощью одной кнопки.
Qlik замечательно работает над распознаванием типов данных во время импорта. Он распознает все правильно без моего участия, чтобы переопределить их. Примечание с зелёной стрелкой включено как текст. Qlik автоматически распознает заголовки как заголовки, которые в случае ошибки могут быть переопределены.
Стандартный набор данных, разделенных запятыми (формат CSV)
Исходные данные в блокноте выглядят как-то так:
Исходные данные для импорта
В Excel они выглядят так:
Ключевые различия:
Здесь нет никаких различий, потому что данные ясны и не требуют форматирования или добавления. Однако, если у нас было несколько CSV-файлов с одинаковой структурой и в одной папке, PowerBI может автоматизировать это, тогда как для Qlik Sense нужен отдельный скрипт.
Некачественные данные
Что я определяю как некачественные данные? Это данные, которые имеют:
- Несогласованные столбцы
- Повторяющиеся заголовки
- Несколько заголовков в поле
- Общее количество строк для каждой страницы или для каждой группы данных
- Заголовки полей, которые не совпадают с данными
- Нет разделителей и непоследовательная ширина столбцов (нефиксированная ширина)
Часто эти данные поступают из инструментов отчетности, например crystal reports. ERP системы любят создавать такой тип отчётов.
Ниже приведены первые две страницы отчета по заработной плате на 24 страницы для Fake Company Party.
В этом примере отчет экспортируется в формат Excel / CSV и имеет следующие проблемы:
- Отчет содержит 34 столбца, многие из которых не содержат данных.
- Повторяются заголовки отчетов.
- Имеются повторяющиеся поля заголовков, которые не совпадают с данными.
- Различные данные показаны в строках.
- Большая часть данных также содержит текстовые метки в том же поле «Date: 31/07/2015».
- Строки с общими суммами.
- Общий раздел сотрудников.
Все эти проблемы делают сложным извлечение данных как таблицы.
Могут ли Power BI и Qlik Sense обрабатывать процесс импорта таких данных?
По моему мнению, да.
Используете ли вы оба: очень маловероятно.
Здесь появляется преимущество Power Query в Power BI. Power BI использует этот инструмент, первоначально разработанный как надстройка в Excel, которая переименована как Power Query в Power BI.
Используя редактор запросов в Power BI, я перестроил вышеуказанный отчёт в таблицу ниже примерно за 15 минут. В этом случае не было необходимости писать и строки кода. Вы можете проделать ту же работу сначала используя PowerQuery в Excel (Называется Get и Transform в Excel 2016) и затем скопировать этот код из Excel (который создал его для вас) и вставить в редактор запросов в Power BI.
Данный процесс формирования запроса также имеет преимущество, если у вас есть несколько файлов с одинаковой структурой, вы можете поместить их в один каталог и PowerQuery объединит их без особых усилий.
Мне необходимо потратить некоторое время, чтобы понять, сколько понадобится время для написания скрипта в Qlik Sense, чтобы получить тот же результат.
Импорт данных/Сводка
Оба инструмента способны импортировать данные из множества источников. Qlik работает за счёт скриптов, которые вы для него пишете, Power BI же имеет графический интерфейс, который во многом облегчает процесс.
Для импорта из базы данных нет значительных различий между данными инструментами.
Когда же вы сталкиваетесь с исходными/необработанными данными и ad-hoc / one off requirements, где данные не могут находиться в идеальном состоянии для начала работы, либо есть большие группы файлов (CSV) в каталоге, в этом случае Power Bi обладает значительным преимуществом, имея редактор запросов, перед скриптовым подходом Qlik.
Найти решение у бизнес-партнера QlikTech (QlikView) в России.
Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!
Опубликовано в рубрике