7 советов по созданию надежной инфраструктуры данных

Для того, чтобы ваше аналитическое решение позитивно влияло на процесс принятия решений, вам нужны «чистые» данные и гибкая инфраструктура данных, которая удовлетворяет все ваши текущие и будущие потребности в аналитике.

Все, что вы хотите сделать, когда дело доходит до аналитики – от передовых технологий, таких как наука о данных и машинное обучение, до базовых основ, зависит от надежной инфраструктуры данных.

В этом посте мы представляем вам 7 советов, которые помогут обеспечить соответствие вашей инфраструктуры данных всем вашим текущим и будущим потребностям в аналитике.

1. НАЧНИТЕ С НАЧАЛА – определите свою стратегию в отношении данных и аналитики

Прежде чем заняться любым бизнес-проектом, рассмотрите следующие вопросы: Есть ли у вас стратегия обработки данных и аналитики? Какова общая корпоративная стратегия вашей компании? Что является бизнес-причиной, которая вызывает необходимость в аналитике? Вам необходимо определить, какие технологии, процессы и каких людей нужно ввести, чтобы вы смогли достичь своих целей в области аналитики.

Наш подход к оказанию помощи нашим клиентам в определении их стратегии данных и аналитики состоит из 4 основных этапов:

  1. Определите свое видение – каково видение долгосрочной аналитики и как оно вписывается в вашу общую бизнес-стратегию?
  2. Запишите ваше текущее состояние – сюда входит интервью с заинтересованными сторонами, оценка источников данных и обзор технологий
  3. Разработайте план аналитики – это подробный план, который отображает, куда вы хотите идти, и план для устранения существующих пробелов.
  4. Предоставление результатов – поэтапный подход, чтобы клиенты смогли предоставлять обратную связь на протяжении всего процесса и видеть результаты на своем пути.

С чего начать:

Если у вас нет четко определенной стратегии, начните ее разрабатывать. Вот парочка доступных вещей, которые каждый может использовать прямо сейчас:

  • Поговорите с бизнесом и соберите требования: вместо того, чтобы спрашивать, что им нужно, попросите их «показать вам», а затем задокументировать результаты.
  • Начните составлять список исходных систем. Проведите интервью с владельцами бизнеса, чтобы понять исходные системы и какие отделы их используют.

Узнайте больше о наших услугах по стратегии передачи данных.

2. ПРИОРИТИЗАЦИЯ ВАШИХ ПРОЕКТОВ

Это очевидный факт, но без расстановки приоритетов ваши проекты могут превратиться в то, чего вы никогда не планировали. Хорошо продуманные приоритеты помогают привести проекты и программы в соответствие с вашими стратегиями.

Зачем расставлять приоритеты?

  • Это увеличивает показатели успешности стратегических проектов
  • Повышает согласованность и направленность управления вокруг стратегических целей
  • Снимает сомнения оперативных команд, когда они сталкиваются с решениями
  • Формирует мышление и культуру исполнения

С чего начать:

Используйте Матрицу приоритетов

Совместите каждую из ваших аналитических операций с вашими общими корпоративными целями, а затем определите техническую осуществимость каждой из них.

  • Поговорите с представителями бизнеса, соберите их требования и определите ключевые показатели эффективности.
  • Поработайте с пользователями, чтобы определить ценность для бизнеса и техническую осуществимость для каждого варианта использования
  • Составьте график и определите, с каких проектов вам следует начать.

Матрица приоритетов

3. ОЦЕНИТЕ СРЕДУ

Где именно в вашем технологическом стеке вам понадобится настройка среды? Подумайте, как вы перемещаете данные через стек. Вся система будет работать плавнее, если все настроено правильно. Вот некоторые вещи, которые вы должны начать документировать при оценке среды:

  • Вопросы настройки безопасности
  • Загрузка данных/стратегия хранения
  • Архитектурная схема
  • Изменение стратегии управления

С чего начать:

Убедитесь, что ваша среда достаточно продумана.

  • Ищите избыточность: убедитесь, что ваша система эффективна
  • Оцените свою среду: подумайте, что лучше для вашей организации (локальная реализация или решение в облаке и т. д.)
  • Вам нужно несколько сред? Есть ли у вас среда для разработки и тестирования, или их не требуется вовсе?
  • Обновление данных: если у вас есть исходные системы разработчиков, необходимо убедиться, что данные обновляются, чтобы у вас были хорошие данные для работы.

4. СОЗДАЙТЕ ГИБКУЮ МОДЕЛЬ ДАННЫХ

Модель данных создает структуру, в которой находятся данные, а продуманно созданная модель обеспечивает гибкость и простоту использования. Она также определяет, как маркируются и организовываются вещи, а это определяет, как ваши данные могут и будут использоваться, и, в конечном счете, какую историю эта информация сможет рассказать. Наконец, модель данных помогает определить проблему, позволяя вам рассмотреть различные подходы и выбрать лучший из них.

Примеры моделей данных

Такие инструменты, как Qlik, Tableau, PowerBI, помогут вам получить лучший доступ к своим данным и принять более взвешенное решение. ОДНАКО, если вы не строите реляционную модель данных, решение не будет создано в будущем.

Реляционные модели данных (хранилища данных) и зачем они нужны

Такие инструменты, как Qlik, Tableau, PowerBI, могут помочь вам получить хороший доступ к вашим данным, чтобы лучше принимать решения, но, если вы не создадите реляционную модель данных, решение не будет устойчивым.

Зачем вам хранилище данных:

  • Нет необходимости обращаться к источникам данных по отдельности, это сокращает подготовку данных
  • Автоматически интегрирует разрозненные источники данных по общим атрибутам.
  • Хорошее хранилище данных предназначено для восприятия человеком, а не компьютерной программой.
  • Сокращает время на анализ данных, дает вам уверенность в ваших данных, обеспечивает более высокое качество анализа и обеспечивает лучшую безопасность данных
  • Позволяет управлять данными и предотвращает анализ данных в стиле «Дикого Запада»

С чего начать:

Используйте матрицу шины. Матрица шины включает все основные бизнес-процессы, которые вы хотите смоделировать, а также общие измерения, которые позволяют разделить данные на части. Она обеспечит стратегическую перспективу сверху вниз, чтобы обеспечить интеграцию данных в среде хранилища данных в масштабах всей компании, в то время как гибкая доставка снизу вверх происходит за счет сосредоточения внимания на одном бизнес-процессе за раз.

Пример матрицы шин

5. ДОКУМЕНТИРУЙТЕ ПРОИСХОЖДЕНИЕ ДАННЫХ

Это скучно, но необходимо для хорошего результата. Зная путь, по которому ваши данные попали от источника к месту назначения, вы можете в конечном итоге восстановить цепочку при необходимости. Когда вы документируете происхождение своих данных, вы сможете:

  • Получить информацию о том, какие данные доступны, их качество и правильность
  • Получить знания от руководителя разработчика ETL
  • Будете четко понимать, что происходит с вашими данными в конкретный момент времени
  • Представите бизнес-пользователям более подробную информацию о том, что они используют в своих отчетах.
  • Понимать влияние изменений, внесенных в исходную систему

С чего начать:

Создайте документ отображения ETL. Это визуальное представление о существующем потоке данных и происхождении, включает источники и зависимости данных, такие как доходы. Выполнение этого шага во время разработки сэкономит вам много времени – поверьте нам!

Пример документа с отображением ETL

6. ВЕРНИТЕСЬ НА ШАГ НАЗАД И ОЦЕНИТЕ ЭФФЕКТИВНОСТЬ

Вы должны учитывать требования к производительности как для пользовательского интерфейса, так и для серверной инфраструктуры. Один раз потратив на это время, в дальнейшем ваш процесс разработки даст оптимальную производительность.

Вот несколько вопросов, которые вы можете задать при оценке производительности.

Пользовательский опыт:

  • Сколько времени занимает запуск отчетов?
  • Какие факторы влияют на производительность?
  • Эти услуги действительно слишком дороги?

Производительность серверной части:

  • Как часто необходимо обновлять данные?
  • Используете ли вы дополнительные нагрузки?
  • Вы загружаете данные, которые никто не использует?
  • Какова будет производительность ETL?

С чего начать:

Начните документировать текущее состояние, взаимодействие с пользователем и производительность серверной инфраструктуры. Соберите показатели производительности, оцените факторы, влияющие на производительность, установите SLA и определите области для улучшения.

7. РЕАЛИЗАЦИЯ ПРОГРАММЫ УПРАВЛЕНИЯ ДАННЫМИ

С помощью правильно реализованной программы управления данными вы можете добиться согласованности, сократить время обработки, снизить потребности в обслуживании, получить больше качественных данных, повысить эффективность использования пользователями и многое другое. Это критически важная часть вашего решения для анализа данных, но ее часто игнорируют.

Как реализовать программу управления данными

Ключевой момент, который мы хотели бы подчеркнуть: инициатива по управлению данными на низовом уровне не проходит. Для того чтобы ваша программа управления данными была успешной, вам понадобится вступительный взнос со стороны высшего руководства, и она должна отстаиваться во всей организации. Если ваша команда не заинтересована в том, чтобы следовать изложенным процессам, ваш план не даст своих потенциальных преимуществ.

Начиная с первого шага, выясните, кто будет вести процесс. Вам нужен лидер, который смотрит на данные как на актив.

Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий

64 queries in 0,388 seconds