Гайд. Часть 1.3. Загрузка данных

[AnnaKhoroshaya (Анна)]

В данном цикле статей пошагово рассмотрим создание аналитической панели (дашборда) в BI-системе Alpha BI: от подключения к источнику до готовой панели. В каждой статье цикла будет описан этап создания дашборда:

1. Подготовка данных
   1.1. Постановка задачи и анализ датасета
   1.2. Создание физической модели
   1.3. Загрузка данных
   1.4. Создание логической модели
2. Анализ данных
   2.1. Построение OLAP-представления
3. Презентация
   3.1. Контейнеры, виджеты, настройка UI
   3.2. События, фильтры

В предыдущей статье мы начали рассматривать процесс создания БО, включающий следующие шаги:

1. Создание физической модели
   1.1. Создание метаописания БО для хранения данных
   1.2. Заполнение полей БО
2. Загрузка данных через ETL-процесс

И уже описали первый шаг. В этой статье перейдем ко второму шагу - загрузим данные в БО.

Шаг 2. Загрузка данных через ETL-процесс

Первый БО (таблица фактов)

ETL-процесс “superStoreUS”, который использовался для автозаполнения полей первого БО, теперь можно использовать и для загрузки данных, немного его модифицировав по следующему алгоритму:

1. Перейдите в раздел ETL аккордеона системы и откройте созданный на предыдущем шаге процесс на редактирование.

2. В каталоге ETL-блоков выберите пункт “Запись (Load)” – “Создание бизнес-объектов”
   

   

3. Соедините его с блоком “Join”. В свойствах в поле “Тип бизнес-объекта” нажмите на многоточие или выпадающий список, выберите БО “superStoreUS (superStoreUS)”
   

   

4. Нажмите на кнопку “Автозаполнение структуры данных”. Убедитесь, что поля данных из файла верно сопоставились с полями БО по коду и типу
   

   

5. Сохраните ETL-процесс и нажмите на кнопку “Запустить”
   

   

6. Нажмите на кнопку “Обновить текущий протокол”. Если все выполнено верно, в протоколе появится информация о количестве вставленных в БО строк и завершении ETL-процесса
   

   

7. Откройте бизнес-объект на просмотр, чтобы убедиться, что строки в нем не пустые
   

   

Второй БО (таблица с датами)

Для заполнения БО с датами будем использовать специальный для этого блок в ETL-процессе “Генерация данных для интервала дат” по следующему алгоритму:

1. Перейдите в раздел ETL аккордеона системы, выберете узел “Процессы”, нажмите на кнопку “Создать” и в выпадающем списке нажмите на пункт “Процесс ETL”.
   

   

2. В карточке процесса заполните поля “Код” и “Наименование”
   

   

3. В каталоге ETL-блоков выберите пункт “DWH” – “Генерация данных для интервала дат”
   

   

4. В свойствах блока заполните следующие поля:

• “Бизнес-объект для заполнения” - выберете ранее созданный БО “datepicker”
• “Начало интервала” и “Конец интервала” - выберете даты из календаря. В файле содержатся продажи за 2015 год, поэтому укажите даты с 01.01.2015 по 31.12.2015
• “Поле для хранения даты” - выберете поле из БО “Дата”
• “Формат даты строкой” - укажите “dd.MM.yyyy”
• “Поле для хранения даты строкой” - выберете поле из БО “date_title”
  
  

5. В настройках полей для хранения единиц времени добавьте строку по кнопке “Добавить строку”.
6. В ней заполните поля:

• “Единица времени” - из выпадающего списка выберете “Год”
• “Поле для числового значения” - выберете поле из БО “Год число”
• “Формат строкового значения” - укажите “{0} год”
• “Поле для строкового значения” - выберете поле из БО “Год”
  
  

7. Повторите предыдущий шаг для всех оставшихся значений:

Единица времени	Поле для числового значения	Формат строкового значения	Поле для строкового значения
Год	Год число	{0} год	Год
Месяц	Месяц число	{0}	Месяц
День	День число	{0} день	День

8. Сохраните ETL-процесс и нажмите на кнопку “Запустить”
9. Откройте бизнес-объект на просмотр
   
   

В итоге мы рассмотрели пример формирования физической модели данных, состоящей из одной таблицы фактов и справочника с датами. Заполнили её данными. В следующей части поверх физической модели создадим логическую в виде OLAP-куба.