Анализ данных в IT-отделе (анализ журналов (log-file)) в QlikView

Целевая аудитория – На кого рассчитано это приложение?  

Это приложение предназначено к IT-специалистам, которым потребуется анализировать различные файлы журналов.

Обзор Приложения – Объяснение уникальности приложения. Какую цель необходимо показать?

Приложение содержит:

  • Лог-файлы операционной системы (ОС)
  • Лог-файлы Internet Information Services (IIS)
  • Файлы журналов приложений

Используя дату, и связав различные файлы, пользователи могут увидеть, существуют ли связи между событиями, которые происходят на разных машинах. Это приложение содержит множество файлов журналов, которые создаются в течение дня и отображаются в удобном для чтения формате, так что позволяет быстро идентифицировать любые нарушения данных.

Данные — Какие типы данных используются? Доступны ли они для общего доступа?

Это приложение содержит лог-файлы операционной системы, IIS и данные приложений с различных серверов.


Сценарий

Роль – Для кого предназначен этот сценарий?

Общие вопросы и вопросы, на которые предстоит ответить в этом сценарии

Конечные ответы и ответы по интерпретации

Сценарий 1:

Обзор ошибок и предупреждений на сервере на прошлой неделе

  • IT-специалист

IT-специалист периодически проверяет Панель, чтобы посмотреть, как обстоят дела на серверах, и не увеличилось ли количество ошибок.

Проверьте панель для определения:

  • Было ли увеличение количества ошибок операционной системы, IISошибок или ошибок приложений

Сценарий 2:

Обзор ошибок ОС на сервере на прошлой неделе

  • IT менеджер

IT менеджер проверяет панель и подробно изучает ошибки и предупреждения ОС.

  • Что стало источником ошибок?
  • Есть ли изолированные ошибки на одном или нескольких серверах?

Проверьте Панель и перейдите далее в ОС-лист:

  • Было ли увеличение ошибок в последних 7дней
  • Да, рассмотреть подробно ошибки операционной системы
  • Определить серверы с ошибками и источник ошибок

Сценарий 3:

Оценка использования документов

  • IT-специалист

Какие документы используются чаще / реже и когда?

  • Есть ли неиспользуемые документы, которые можно удалить с сервера?
  • Какие документы, используются чаще всего?
  • Сколько пользователей получает доступ к документам,и на какой срок?

Далее переходим к:

  • Список документов, которые не использовались в течение последних 30дней
  • Работа на серверах приложений

Сценарий 4:

Обзор лист а IIS

  • IT-специалист

Обзор листа IISи тип анализа, который можно выполнить.

  • Наиболее распространенные ошибки.
  • Заметки с информацией о пользователях.

Приложение объясняет:

  • Диаграммы на листе, и что они показывают

Сценарий 1:Обзор ошибок и предупреждений на сервере на прошлой неделе

 
   

Предварительный выбор

Фильтр даты последние 7дней

Сотрудник IT-отдела несколько раз в неделю смотрит на панель, чтобы убедиться, что все идет гладко.

Я – сотрудник IT-отдела, периодически открываю приложение «Log Analysis» (Анализ Журналов), чтобы узнать, не возросло ли количество ошибок на серверах. Сегодня, когда я открыл приложение, мое внимание привлекли несколько показателей.

На панели отображены данные файлов журнала, сгруппированные в3 областях: операционная система, информационные Интернет-услуги (IIS) и серверные приложения.Все три области отображены красным, показывая, что количество ошибок на прошлой неделе выше, чем показатели на предыдущей неделе.

 

Я вижу количество ошибок и предупреждений для каждой области.Если количество ошибок возросло от предыдущего интервала времени,я увижу красную стрелку и процент увеличения ошибок/предупреждений. Если кол-во ошибок снизилось, я увижу зеленую стрелку, и процент снижения ошибок/предупреждений.

Для секции «Operating System» (Операционная Система), я вижу количество записей в журнале, где есть записи либо«Error» (Ошибка), либо «Warning» (Предупреждение).

Я вижу, что за минувшие выходные, количество ошибок возросло, а количество предупреждений уменьшилось.

Мне интересно, есть ли такая тенденция каждые выходные.

Здесь я вижу такую тенденцию, что количество ошибок было выше обычного в эту последнюю неделю, в целом это не зависит от того будний день или выходной.

Выберите фильтр «Past 30 days» (Предыдущие 30дней)

Это последнее воскресенье было также концом месяца, а я знаю, что пользователи очень активны в конце месяца, они пытаются закрыть все дела до конца месяца. Проверим ежемесячную картину здесь.

Выберите фильтр «Past 3 months» (Предыдущие 3 месяца)

  

Если я внимательно посмотрю на этот график,я увижу, что есть пики в количестве записей в журнале ошибок операционной системы ближе к концу месяца (за последние3месяца). На графике видно, что в апреле показатели были лучшими из этих 3 месяцев, безусловно, здесь есть зависимость.

Наведите курсор мыши на конец каждого месяца для прошедших 3 месяца

Конец февраля

Конец апреля

Давайте вернемся к первоначальному фильтру даты.

Выберите фильтр «Past 7 days» (Предыдущие 7дней)

ВInternet Information Services не было ошибок за минувшие выходные, мы видим только ошибки за 4/27/2012, количество предупреждений снизилось за выходные.

Если я внимательно рассмотрю таблицу в области 4/27/2012, я увижу, что количество ошибок начало расти около11 утра, они поступали вплоть до конца дня.

Выберите 4/27/2012 на графике

Нажмите кнопку «Back» (Назад), чтобы удалить последний сделанный выбор.

Нажмите«Back» (Назад)

Перемещаясь дальше к разделу «Application Server» (Сервер приложения), я вижу всплеск количества ошибок 4/25/2012, но затем их неуклонное снижение.Я вижу, что количество ошибок на этой неделе выросло на 30,9% по сравнению с предыдущей неделей, а количество предупреждений упало на 51,6%.

Если я подробно рассмотрю данные от 4/25/2012, то увижу увеличение ошибок, примерно в 15:00, затем снова увеличение в 17:00, прежде чем ситуация снова успокоилась.

Очистите выбор.

Очистите выбор

В этом сценарии, сотрудник IT-отдела может быстро определить рост количества системных ошибок и предупреждений, просто проверив панель, он также может быстро идентифицировать любые проблемы, которые возможно потребуют немедленного решения. Закономерности в ошибках и предупреждениях в течение определенного периода времени также можно определить на панели. Сотрудник IT-отдела получает представление о том, чего можно ожидать в будущем.

Сценарий 2: Обзор ошибок ОС на серверена прошлой неделе

 
   

Лист

Панель

   

Предварительный выбор

Фильтр даты последние 7дней

Сотрудник IT-отдела несколько разв неделю смотрит на панель, чтобы убедиться, что все идет гладко.

Я – сотрудник IT-отдела, периодически открываю приложение «Log Analisys» (Анализ Журналов), чтобы узнать, не возросло ли количество ошибок на серверах. Сегодня, когда я открыл приложение, мое внимание привлекли несколько показателей.

На панели отображены данные файлов журнала, которые сгруппированы в3 областях: операционная система, информационные Интернет-услуги (IIS) и серверные приложения.Все три области отображены красным, показывая, что количество ошибок на прошлой неделе выше, чем показатели на предыдущей неделе.

Поскольку процент самый высокий именно для операционной системы, я начну с нее, и определю, что же происходит.

Перейдите на лист «Operating System»(Операционная система)

Поскольку я начинаю работать с ошибками, я отфильтрую лист, выделив только ошибки.

Выберите «Error» (Ошибки) из поля списка

Я сразу заметил, что большинство записей журнала ошибок находятся на сервере7, единственном сервере,с установленным servicepack2.

Мы сделаем балансировку нагрузки, так чтобы нагрузка на все сервера была примерно одинаковой. Может ли структура этого сервера быть причиной ошибки? Интересно, имеет ли комбинация Windows Server2008SP2 и QDS на сервере7 отношение к ошибкам? Я не видел столько ошибок на серверах, работающих под управлением ОС Windows Server 2008SP1.

 

Я также вижу, что есть более 4000записейв журнале ошибок «Distribution Services» (Сервисы Распределения).

Если внимательно взглянуть на таблицу в нижней части листа, то сразу видно, что некоторые документы не удалось открыть.

Я планирую перезапуск службы на этот вечер после работы, чтобы посмотреть, поможет ли это. Также я попрошу свою команду провести небольшое исследование, чтобы увидеть, есть ли проблемы с комбинацией QDS  и Windows Server 2008SP2, чтобы мы знали это до апгрейда других наших серверов.

Снимите выбор

Снимите выбор

В этом сценарии, IT-менеджер может быстро определить прирост количества сообщений об ошибках операционной системы только путем проверки панели, он также может быстро выявить любые проблемы, которые возможно потребуется решить. Менеджер может выделить ошибки конкретного сервераи обнаружить программное обеспечение и комбинации приложений, которые могут быть проблематичными.

 

Сценарий 3:Оценка использования документов

 
   

Лист

Приложение вкладка «AppSessions» (Сессия приложения)

   

Предварительный выбор

Фильтр даты последние 30 дней

Установите ежемесячное использование документов на сервере, чтобы определить, следует ли удалять определенные документы, и справляется ли сервер со своими задачами.

Каждый месяц, или около того, сотрудник IT-команды хочет просмотреть использование приложений, размещенных на сервере, чтобы определить время, когда следует удалять приложение и обеспечить правильную обработку пользовательской нагрузки сервером.

Я установил фильтр даты на последние 30 дней, поскольку приложение проверяли около 4 недель назад.

Первое, что я хочу проверить — количество документов, открытых во время пользовательской сессий. Я вижу, какие документы открывались чаще, и интенсивно использовались, но я хочу сосредоточиться на документах, которые, возможно, не использовались последние 30 дней.

Если я перейду к нижней части окна «Documents Opened During Session» (Документы, открытые во время Сессии), я вижу, что есть 33 документа, которые не использовались. Я экспортирую весь этот список в Excel и сравню его со списком, который создал 4 недели назад. Если документ не используется в течение 3 месяцев подряд, мы свяжемся с владельцем, чтобы определить, следует ли убрать такой документ.

Я выберу «Possible» (Возможный), затем «Excluded» (Исключенный), это даст мне документы, которые не открывались последние 30 дней. При этом, я сниму фильтр даты за прошедшие 30 дней. Теперь я вижу частоту, с которой эти документы открывали с 1/30/2012.

Выберите «Possible» (Возможный)

Выберите «Excluded» (Исключенный)

 

Например, теперь я вижу, что budget – europe.qvw открывали 19 раз, так это приложение используется, несмотря на то, что его не использовали в течение последних 30 дней. Я вижу пользователей этого приложения. Поскольку это приложение связано с бюджетом, я переговорю с Ником и финансовым директором, чтобы спросить об использовании этого приложения.

Выберите “budgetEurope”.qvw

Нажмите кнопку «Back» (Назад), чтобы снять последний сделанный выбор.

Теперь я готов экспортировать в Excel.

Пока я нахожусь здесь, я могу также взглянуть на документы, которые открывали только один раз в течение последних 30 дней.

 

Взглянув на список «Session duration» (Продолжительность сессии), я увижу, что эти документы использовались в течение нескольких минут, и большинство из них попадают в группу «30-35 минут». Теперь, меня интересует, находились ли эти сессии в бездействии, и закрылись через 30 минут. Чтобы увидеть это, я выберу  «Session expired after idle time» (Сессия Завершена После Простоя) из списка причин выхода. Есть 15 сессий, срок действия которых истек, и 4 из них имеют продолжительность в 30-35 минут, так что некоторые из них использовались в этих временных рамках.

Нажмите«Back» (Назад)

Экспортируйте в  Excel

Fig_32

 

Выберите документы, частота которых – «1».

Fig_33

Выберите «Session expired after idle time» (Сессия Завершена После Простоя).

Fig_34

Fig_35

Отмените выбор сессии, время которых истекло после простоя.

Fig_36

Я собираюсь снять флажки, которые я выставил в списке «Documents Opened During Session» (Документы, открытые во время Сессии). 

Очистить выбор в списке «Documents Opened During Session» (Документы, открытые во время Сессии). 

 

Fig_37

 

 

На этом листе я заметил, что некоторые из наших сотрудников все еще используют Microsoft Internet Explorer 7.0. Мы пытаемся подтолкнуть пользователей к использованию версии8.0 или9,0, поэтому я отмечу пользователей, использующих этот браузер, экспортируя этот список в Excel, и так я смогу отправить им напоминание по обновлению. 


 

Выберите MSIE 7.0 в списке «Client Type» (Тип Клиента). 

 


 

Экспортируйте список Аутентифицированных пользователей в Excel. 

 

Снимите выбор MSIE7.0 в списке «Client Type» (Тип Клиента).

Снимите выбор MSIE7.0 в списке «Client Type» (Тип Клиента).

Теперь я посмотрю на производительность на серверах. Я быстро проверювсе3сервера, но я очень обеспокоен сервером № 4, потому что я уже видел проблемы в прошлом на этом сервере.

Я вижу, что пользователи наиболее активны в течение рабочей недели, как я и ожидал, и менее активны на выходных, доступность виртуальной памяти достаточная.

Перейдите на вкладку «App Performance» (Производительность приложения).

Выберите «Server4».

     

Снимите выбор «Server4».

Снимите выбор.

Снимите выбор, нажав «Clear» (Очистить).

В этом сценарии IT-специалист смог провести быстрый анализ использования документов и производительности сервера, чтобы определить, какие документы можно удалить.Загрузка файлов журнала в документ QlikView экономит много времени IT-специалиста и не требует длительных поисков в месяцах лог-файлов.

Сценарий 4:

Обзор лист а IIS

   

Лист

IIS

   

Предварительный выбор

Этот год

Мы взглянем на лист IIS, чтобы увидеть какой анализ можно провести с помощью лог-файлов IIS.

На этом листе сверху есть списки методов и серверов. Верхняя часть листа фокусируется на записях журнала IIS по статусу и под статусу. Таким образом, в этом случае мы видим, что большинство записей журнала имеют статус «301» или «302».

Статусы в диапазоне 3ХХ (ХХ – 00-99) показывают пере направление. А именно, «301» указывает постоянное движение, «302» указывает перемещение объекта. Статусы, которые представляют для нас наибольший интерес, находятся в диапазоне 4ХХ. Статусы в диапазоне 4ХХ – это ошибки клиента, такие как сообщения об ошибках: «доступ запрещен» или «не найдено». Статусы 5ХХ — ошибки сервера, такие как выключение приложения на веб-сервере, или недоступные сервисы. Это ошибки мы не хотим видеть на наших серверах.

Коды под статусов позволяют определить конкретную ошибку. Например, ошибка «401» — ошибка «не авторизирован», Под статус «1» означает, что «Доступ запрещен из-за неправильных учетных данных». Под статус «5» означает «Ошибку авторизации с помощью приложения ISAPI / CGI«.

Выберите «401» из графика (чтобы объяснить под статус).

Нажмите «Back» (Назад), чтобы снять последний выбор.

Нажмите «Back» (Назад)

В нижней части листа есть информация для пользователя «User Agent» (Агент пользователя), поэтому мы видим, какой браузер использовался в то время, когда произошла ошибка. Таким образом, в этом случае мы видим, что у нас есть много пользователей, которые используют браузер «Mozilla». Эта информация может иметь важное значение для компании, которая, например, управляет сайтами, и хочет взглянуть на поведение своих пользователей.

Этот сценарий представляет обзор листа IIS и объясняет, как можно использовать анализ кодов статуса и информацию агента пользователя.

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Форум разработчиков QlikView и Qlik Sense. Получите ответы на все вопросы по QlikView и Qlik Sense!

Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий

64 queries in 0,270 seconds