Название пакета: DWH_ETL_Daily¶
Описание¶
Ежедневная загрузка данных в хранилище KRAFT_DWH_CSL
Схема¶
Список шагов:¶
1. Create new batch identifier¶
- Тип: Execute SQL Task
- Описание: Генерация ID выполнения ETL-процесса
- Процедура: audit.usp_GetBatch
- Параметры мэппинга данных:
- User::Batch
2. Source SAFIR to SA DWH¶
- Тип: Foreach Loop Container
- Описание: Загрузка данных из источника SAFIR в SA слой хранилища данных DWH
- Цикличность: Foreach Loop Container (Enumerate Source Tables)
2.1 Load Source 2 data for table
- Тип: Execute SQL Task
- Описание: Загрузка данных из источника
- Процедура: etl.usp_ImportDataFromSQLServer
- Параметры мэппинга данных:
- Batch → User::Batch
- Link_Name → User::Source0_Link_Name
- DB_Name → User::Source0_DB_Name
- TableNameSource → User::Source0_TableNameSource
- TableNameDestination → User::Source0_TableNameDestination
- TableIncludedColumns → User::Source0_TableIncludedColumns
- TableExcludedColumns → User::Source0_TableExcludedColumns
- TableDistinct → User::Source0_TableDistinct
- TableWhere → User::Source0_TableWhere
Используемые объекты:
| Source0_TableNameSource | Source0_TableNameDestination | Source0_TableIncludedColumns | Source0_TableExcludedColumns | Source0_TableDistinct | Source0_TableWhere |
|---|---|---|---|---|---|
| sa.VIEW_SA_SAFIR_factSellIn_Daily | sa.SA_SAFIR_factSellIn_Daily | 0 | |||
| sa.VIEW_SA_SAFIR_factOrdersIn_Daily | sa.SA_SAFIR_factOrdersIn_Daily | 0 | |||
| sa.VIEW_SA_SAFIR_factDeliveries_Daily | sa.SA_SAFIR_factDeliveries_Daily | 0 |
3. Create, Transform Dimensions and Other Tables¶
- Тип: Sequence Container
- Описание: Создание и обработка измерений
3.1 Other Dimension
- Описание: Загружает данные в таблицы измерений
- Процедура: etl.usp_LoadOtherDIM
- Параметры мэппинга данных:
- Batch → User::Batch
- DIM_SourceViewName → User::DIM_SourceViewName
- DIM_DimensionTableName → User::DIM_DimensionTableName
- DIM_MergeOnColumns → User::DIM_MergeOnColumns
- DIM_MergeExcludedColumns → User::DIM_MergeExcludedColumns
- DIM_Mode → User::DIM_Mode
Используемые объекты:
| DIM_SourceViewName | DIM_DimensionTableName | DIM_MergeOnColumns | DIM_MergeExcludedColumns | DIM_Mode |
|---|---|---|---|---|
| dbo.VIEW_D_Invoices_Daily | dbo.D_Invoices | ID_SalesOrganization, InvoiceNumber | 2 | |
| dbo.VIEW_D_Deliveries_Daily | dbo.D_Deliveries | ID_SalesOrganization, DeliveryNumber | 2 | |
| dbo.VIEW_D_Orders_Daily | dbo.D_Orders | ID_SalesOrganization, OrderNumber | 2 |
4. Process Fact tables¶
- Тип: Sequence Container
- Описание: Обработка таблиц фактов
- Цикличность: Foreach Loop Container (Enumerate Fact tables)
4.1 Load data to Fact table
- Тип: Execute SQL Task
- Описание: Загрузка данных в таблицы фактов
- Процедура: etl.usp_LoadFactPart
- Параметры мэппинга данных:
- @Batch → User::Batch
- @sSourceViewName → User::FACT_SourceViewName
- @sFactTableName → User::FACT_FactTableName
- @sPartColumnDate → User::FACT_PartColumnDate
- @sExcludedColumns → User::FACT_ExcludedColumns
- @nUseTempTable → User::FACT_UseTempTable
- @nMode → User::FACT_Mode
- @sTablePartition → User::FACT_FactPartTableName
Используемые объекты:
| FACT_SourceViewName | FACT_FactTableName | FACT_PartColumnDate | FACT_ExcludedColumns | FACT_UseTempTable | FACT_Mode | FACT_FactPartTableName |
|---|---|---|---|---|---|---|
| dbo.VIEW_F_SAFIR_OrdersIn_Daily | dbo.F_SAFIR_OrdersIn_Daily | nPartYearMonth | 0 | 1 | ||
| dbo.VIEW_F_SAFIR_Deliveries_Daily | dbo.F_SAFIR_Deliveries_Daily | nPartYearMonth | 0 | 1 | ||
| dbo.VIEW_F_SAFIR_Invoices_Daily | dbo.F_SAFIR_Invoices_Daily | nPartYearMonth | 0 | 1 | ||
| dbo.VIEW_F_SalesOrdersHistory_Daily | dbo.F_SalesOrdersHistory_Daily | nPartYearMonth | 0 | 1 |
5. Analysis Services Processing Task¶
- Тип: Analysis Services Processing Task
- Описание: Процессинг измерений Orders, Invoices, Deliveries в базе OLAP_CSL_Reason
6. Analysis Services Processing Task 1¶
- Тип: Analysis Services Processing Task
- Описание: Процессинг куба CFR_Daily в базе OLAP_CSL_Reason
7. fill audit ETLObjectsProcessStatus¶
- Тип: Execute SQL Task
- Описание: Заполнение статуса обработки объектов ETL
8. Finish batch identifier¶
- Тип: Execute SQL Task
- Описание: Завершение выполнения ETL-процесса
9. Lock Monitor¶
- Тип: Execute SQL Task
- Описание: Мониторинг блокировок
Список задействованных объектов¶
1. Базы данных¶
- DWH: KRAFT_DWH_CSL
- MDT: KRAFT_MDT_CSL
- OLAP: OLAP_CSL_Reason
2. Соединение с другими пакетами¶
- DWH_ETL_SA
- DWH_MDT
3. Источники данных¶
- Source0: KRAFT_DWH_CSL (KRAFT_DWHSafir_CSL_LINK) - Note: In package it uses Source0 variables but points to DWH DB
- Source1: Safir_RU (KRAFT_DWHSafir_CSL_LINK)
- Source2: OPDB (KRAFT_OPDB_CSL_LINK)
- Source3: MDDB (KRAFT_MDDB_CSL_LINK)
- Source4: STAR_Production (KRAFT_STAR_CSL_LINK)
- Source5: IRIS (KRAFT_IRIS_CSL_LINK)
- Source6: SOPtool (KRAFT_SOPtool_CSL_LINK)
- Source7: MRouter (KRAFT_MRouter_CSL_LINK)
- Source8: WhTest (KRAFT_WhTest_CSL_LINK)
- Source9: File Source (\KFTRUMOSAPP03\DWH_CSL_Source$\OOS)
- Source10: Controlling (KRAFT_Controlling_CSL_LINK)
- Source11: Deployment Tool (KRAFT_DeploymentTool_CSL_LINK)
- Source12: Complaints_SAP (KRAFT_Complaints_SAP_CSL_LINK)
- Source13: ASSA_SUPP (KRAFT_ASSA_SUPP_CSL_LINK)
- Source14: chicago_kraft_wh (KRAFT_CHGO_CSL_LINK)
- Source15: BCP (KRAFT_BCP_CSL_LINK)
- Source16: OTM (KRAFT_OTM_CSL_LINK)
- Source17: Safir_RU (KRAFT_DWHSafir_CSL_LINK)
4. Параметры подключения, переменные:¶
Запуск осуществляется через файл запуска с параметрами конфигурации внутри пакета, через переменные:
- DWH_DB_Name = KRAFT_DWH_CSL
- DWH_Link_Name = KRAFT_DWH_CSL_LINK
- DWH_LoginName = DWHSQLUser
- DWH_LoginPwd = ***
- DWH_ServerName = arrrumosapp17