Название пакета: DWH_ETL_Scorecard¶
Описание¶
Загрузка данных Scorecard в хранилище KRAFT_DWH_CSL
Схема¶
Список шагов¶
1. Create new batch identifier¶
- Тип: Execute SQL Task
- Описание: Генерация ID выполнения ETL-процесса
- Процедура: audit.usp_GetBatch
- Параметры мэппинга данных:
- Batch → User::Batch (Output)
2. Create, Transform Dimensions and Other Tables¶
- Тип: Sequence Container
- Описание: Создание и обработка измерений (отключено - Disabled="True")
- Цикличность: Foreach Loop Container (Other Dimension)
2.1 Other Dimension¶
- Описание: Загружает данные в таблицы измерений Scorecard
- Процедура: etl.usp_LoadOtherDIM
- Параметры мэппинга данных:
- Batch → User::Batch
- DIM_SourceViewName → User::DIM_SourceViewName
- DIM_DimensionTableName → User::DIM_DimensionTableName
- DIM_MergeOnColumns → User::DIM_MergeOnColumns
- DIM_MergeExcludedColumns → User::DIM_MergeExcludedColumns
- DIM_Mode → User::DIM_Mode
Используемые объекты:
| DIM_SourceViewName | DIM_DimensionTableName | DIM_MergeOnColumns | DIM_Mode |
|---|---|---|---|
| dbo.VIEW_D_SQ_EquipmentType | dbo.D_SQ_EquipmentType | Code | 2 |
| dbo.VIEW_D_SQ_EquipmentStatus | dbo.D_SQ_EquipmentStatus | Code | 2 |
| dbo.VIEW_D_SQ_DisplayTypeOfApproval | dbo.D_SQ_DisplayTypeOfApproval | Code | 2 |
| dbo.VIEW_D_SQ_SurveyAT | dbo.D_SQ_SurveyAT | UID_Survey | 2 |
| dbo.VIEW_D_SQ_SurveyCU | dbo.D_SQ_SurveyCU | UID_Survey | 2 |
| dbo.VIEW_D_SQ_SurveySV | dbo.D_SQ_SurveySV | UID_Survey | 2 |
| dbo.VIEW_D_SQ_SurveyTrax | dbo.D_SQ_SurveyTrax | UID_Survey | 2 |
| dbo.VIEW_D_SQ_Survey_EnvironmentBrand | dbo.D_SQ_Survey_EnvironmentBrand | ID_SurveyTrax, ID_EnvironmentBrand | 2 |
| dbo.VIEW_D_DisplaySize | dbo.D_DisplaySize | UID | 2 |
| dbo.VIEW_D_PhotoTaskType | dbo.D_PhotoTaskType | UID | 2 |
| dbo.VIEW_PHRT_POS | dbo.PHRT_POS | ID | 2 |
| dbo.VIEW_D_TraxBrand | dbo.D_TraxBrand | Code | 2 |
3. Load data to StageArea¶
- Тип: Sequence Container
- Описание: Загрузка данных в Stage Area (отключено - Disabled="True")
3.1 Source ASSA to SA DWH¶
- Тип: Foreach Loop Container
- Описание: Загрузка данных из источника ASSA
- Цикличность: Foreach Loop Container
Подшаг: Load Source 13 data for table - Тип: Execute SQL Task - Процедура: etl.usp_ImportDataFromSQLServer - Параметры мэппинга данных: - Batch → User::Batch - Link_Name → User::Source13_Link_Name - DB_Name → User::Source13_DB_Name - TableNameSource → User::Source13_TableNameSource - TableNameDestination → User::Source13_TableNameDestination - TableIncludedColumns → User::Source13_TableIncludedColumns - TableExcludedColumns → User::Source13_TableExcludedColumns - TableDistinct → User::Source13_TableDistinct - TableWhere → User::Source13_TableWhere
3.2 Source Wise_IL to SA DWH¶
- Тип: Foreach Loop Container
- Описание: Загрузка данных из источника Wise_IL
- Цикличность: Foreach Loop Container
Подшаг: Load Source 15 data for table - Тип: Execute SQL Task - Процедура: etl.usp_ImportDataFromSQLServer - Параметры мэппинга данных: (аналогично Source 13)
4. Process Fact tables¶
- Тип: Sequence Container
- Описание: Обработка таблиц фактов Scorecard
- Цикличность: Foreach Loop Container (Enumerate Fact tables)
4.1 Load data to Fact table¶
- Тип: Execute SQL Task
- Описание: Загрузка данных в таблицы фактов
- Процедура: etl.usp_LoadFactPart
- Параметры мэппинга данных:
- @Batch → User::Batch
- @sSourceViewName → User::FACT_SourceViewName
- @sFactTableName → User::FACT_FactTableName
- @sPartColumnDate → User::FACT_PartColumnDate
- @sExcludedColumns → User::FACT_ExcludedColumns
- @nUseTempTable → User::FACT_UseTempTable
- @nMode → User::FACT_Mode
- @sTablePartition → User::FACT_FactPartTableName
Используемые объекты:
| FACT_SourceViewName | FACT_FactTableName | FACT_PartColumnDate | FACT_FactPartTableName |
|---|---|---|---|
| dbo.VIEW_F_SellOutFull_Scorecard | dbo.F_SellOutFull_Scorecard | nPartYearMonth | dbo.VIEW_F_SellOut_PeriodMonth1 |
| dbo.VIEW_F_ACB_Infoline | dbo.F_ACB_Infoline | nPartYearMonth | dbo.udtf_getMonthPeriod(24, null, null) |
| dbo.VIEW_F_PartitionsToProcessQueue | dbo.F_PartitionsToProcessQueue | nPartYearMonth | dbo.VIEW_F_SellOut_PeriodMonth1 |
5. Lock Monitor¶
- Тип: Execute SQL Task
- Описание: Мониторинг блокировок
6. Finish batch identifier¶
- Тип: Execute SQL Task
- Описание: Завершение выполнения ETL-процесса
Список задействованных объектов¶
1. Базы данных¶
- DWH: KRAFT_DWH_CSL
2. Источники данных¶
- Source13: ASSA (KRAFT_ASSA_SUPP_CSL_LINK)
- Source15: Wise_IL
3. Внешние параметры¶
Запуск осуществляется с параметрами конфигурации внутри пакета, через переменные:
- DWH_DB_Name = KRAFT_DWH_CSL
- DWH_Link_Name = KRAFT_DWH_CSL_LINK
- DWH_LoginName = DWHSQLUser
- DWH_LoginPwd = ***
- DWH_ServerName = arrrumosapp17