Название пакета: DWH_MDT_SellOut¶
Описание¶
Загрузка и обработка MDT для SellOut данных
Схема¶
Список шагов¶
1. Auto Mapping¶
- Тип: Sequence Container
- Описание: Автоматическое маппирование данных из DS таблиц в OUT таблицы
- Цикличность: Foreach Loop Container (List DS tables)
1.1 Execute usp_MDT_OUT_Load¶
- Тип: Execute SQL Task
- Описание: Загрузка данных из DS таблиц в OUT таблицы с маппингом
- Процедура: etl.usp_MDT_OUT_Load
- Параметры мэппинга данных:
- Batch → User::Batch
- MDT_Link_Name → User::MDT_Link_Name
- MDT_DB_Name → User::MDT_DB_Name
- TableName_Source → User::TableName_Source
- TableName_Destination → User::TableName_Destination
- TableMapping → User::TableMapping
- TableColumnsExcluded → User::TableColumnsExcluded
- TableColumnsIncluded → User::TableColumnsIncluded
- TableColumnsNewMarked → User::TableColumnsNewMarked
Используемые объекты:
| TableName_Source | TableName_Destination | TableMapping | TableColumnsIncluded | TableColumnsNewMarked |
|---|---|---|---|---|
| dbo.MDT_DS_CHGO_SubChannel_SellOut | dbo.MDT_OUT_SubChannel_SellOut | 2 | Code | 1 |
| dbo.MDT_DS_CHGO_POSTypeGroup | dbo.MDT_OUT_POSTypeGroup | 2 | Code | 1 |
| dbo.MDT_DS_CHGO_POSType | dbo.MDT_OUT_POSType | 2 | Code | 1 |
| dbo.MDT_DS_CHGO_EmployeeDim | dbo.MDT_OUT_Employee | 2 | UID | 1 |
| dbo.MDT_DS_DWH_Employee_SCD | dbo.MDT_OUT_Employee_SCD | 2 | UID, DateBegin | 0 |
| dbo.MDT_DS_CHGO_PositionFunction | dbo.MDT_OUT_PositionFunction | 2 | Code | 1 |
| dbo.MDT_DS_CHGO_POSChainType | dbo.MDT_OUT_POSChainType | 2 | Name | 0 |
| dbo.MDT_DS_CHGO_POSChain | dbo.MDT_OUT_POSChain | 2 | Code | 0 |
| dbo.MDT_DS_CHIPITA_POSChain | dbo.MDT_OUT_POSChain | 2 | Code | 1 |
2. Auto Updated¶
- Тип: Sequence Container
- Описание: Автоматическое обновление данных в OUT таблицах
- Цикличность: Foreach Loop Container (List DS tables)
2.1 Execute usp_MDT_OUT_Updated¶
- Тип: Execute SQL Task
- Описание: Обновление существующих записей в OUT таблицах
- Процедура: etl.usp_MDT_OUT_Updated
- Параметры мэппинга данных:
- Batch → User::Batch
- MDT_Link_Name → User::MDT_Link_Name
- MDT_DB_Name → User::MDT_DB_Name
- TableName_Source → User::TableName_Source
- TableName_Destination → User::TableName_Destination
- TableMapping → User::TableMapping
- TableColumnsExcluded → User::TableColumnsExcluded
- TableColumnsIncluded → User::TableColumnsIncluded
- TableAggregationType → User::TableAggregationType
- TableColumnsNewMarked → User::TableColumnsNewMarked
- TableAllRecords → User::TableAllRecords
Используемые объекты:
| TableName_Source | TableName_Destination | TableColumnsIncluded | TableAggregationType |
|---|---|---|---|
| dbo.MDT_DS_CHGO_EmployeeDim | dbo.MDT_OUT_Employee | FlagValidChange | DISTINCT |
| dbo.MDT_DS_CHGO_PositionFunction | dbo.MDT_OUT_PositionFunction | DISTINCT | |
| dbo.MDT_DS_DWH_Constants | dbo.MDT_OUT_Constants | DISTINCT | |
| dbo.MDT_DS_CHGO_POSChainType | dbo.MDT_OUT_POSChainType | DISTINCT | |
| dbo.MDT_DS_CHGO_POSChain | dbo.MDT_OUT_POSChain | ID_POSChainTypeSpecific | DISTINCT |
| dbo.MDT_DS_CHIPITA_POSChain | dbo.MDT_OUT_POSChain | DISTINCT |
3. Stage Area filling¶
- Тип: Sequence Container
- Описание: Заполнение Stage Area таблицами из MDT
- Цикличность: Foreach Loop Container (Filling SA CHGO tables)
3.1 Execute usp_MDT_ExportDataToMDT¶
- Тип: Execute SQL Task
- Описание: Экспорт данных из DWH в MDT Stage Area
- Процедура: etl.usp_MDT_ExportDataToMDT
- Параметры мэппинга данных:
- Batch → User::Batch
- DWH_Link_Name → User::DWH_Link_Name
- DWH_DB_Name → User::DWH_DB_Name
- MDT_Link_Name → User::MDT_Link_Name
- MDT_DB_Name → User::MDT_DB_Name
- SA_TableName_Source → User::SA_TableName_Source
- SA_TableName_Destination → User::SA_TableName_Destination
Используемые объекты:
| SA_TableName_Source | SA_TableName_Destination |
|---|---|
| dbo.VIEW_SA_CHGO_SubChannel_SellOut | dbo.SA_CHGO_SubChannel_SellOut |
| dbo.VIEW_SA_CHGO_POSTypeGroup | dbo.SA_CHGO_POSTypeGroup |
| dbo.VIEW_SA_CHGO_POSType | dbo.SA_CHGO_POSType |
| dbo.View_SA_CHGO_EmployeeDim | dbo.SA_CHGO_EmployeeDim |
| dbo.VIEW_SA_DWH_Employee_SCD | dbo.SA_DWH_Employee_SCD |
| dbo.VIEW_SA_CHGO_PositionFunction | dbo.SA_CHGO_PositionFunction |
| dbo.VIEW_SA_DWH_Constants | dbo.SA_DWH_Constants |
| dbo.VIEW_SA_CHGO_POSChainType | dbo.SA_CHGO_POSChainType |
| dbo.VIEW_SA_CHGO_POSChain | dbo.SA_CHGO_POSChain |
| dbo.VIEW_SA_CHIPITA_POSChain | dbo.SA_CHIPITA_POSChain |
4. Table view¶
- Тип: Sequence Container
- Описание: Генерация представлений для связей источников
4.1 GenerateSourceRelationship¶
- Тип: Execute SQL Task
- Описание: Генерация связей между источниками данных
- Процедура: etl.usp_MDT_GenerateSourceRelationship
5. Tables Dimension to DWH¶
- Тип: Sequence Container
- Описание: Загрузка измерений из MDT в DWH
- Цикличность: Foreach Loop Container (Filling DIM tables)
5.1 Execute usp_MDT_Load_DIM¶
- Тип: Execute SQL Task
- Описание: Загрузка данных измерений в DWH
- Процедура: etl.usp_MDT_Load_DIM
- Параметры мэппинга данных:
- Batch → User::Batch
- DWH_Link_Name → User::DWH_Link_Name
- DWH_DB_Name → User::DWH_DB_Name
- MDT_Link_Name → User::MDT_Link_Name
- MDT_DB_Name → User::MDT_DB_Name
- TableName_Source → User::TableName_Source
- TableName_Destination → User::TableName_Destination
- TableMapping → User::TableMapping
- TableColumnsExcluded → User::TableColumnsExcluded
- TableColumnsIncluded → User::TableColumnsIncluded
Используемые объекты:
| TableName_Source | TableName_Destination | TableColumnsExcluded |
|---|---|---|
| mdt.MDT_OUT_SubChannel_SellOut | dbo.D_SubChannel_SellOut | |
| mdt.MDT_OUT_POSTypeGroup | dbo.D_POSTypeGroup | |
| mdt.MDT_OUT_POSTypeChannel | dbo.D_POSTypeChannel | |
| mdt.MDT_OUT_POSType | dbo.D_POSType | |
| mdt.MDT_OUT_MSLCalculation | dbo.D_MSLCalculation | |
| mdt.MDT_OUT_Employee | dbo.D_Employee | |
| mdt.MDT_OUT_Employee_SCD | dbo.D_Employee_SCD | |
| mdt.MDT_OUT_ChannelClassifier | dbo.D_ChannelClassifier | |
| mdt.MDT_OUT_SellOutBonusPercent | dbo.D_SellOutBonusPercent | |
| mdt.MDT_OUT_PositionFunction | dbo.D_PositionFunction | |
| mdt.MDT_OUT_PositionFunctionAlternativeRule | dbo.D_PositionFunctionAlternativeRule | |
| mdt.MDT_OUT_Constants | dbo.D_Constants | |
| mdt.MDT_OUT_POSChainType | dbo.D_POSChainType | |
| mdt.MDT_OUT_POSChainTypeSpecific | dbo.D_POSChainTypeSpecific | |
| mdt.MDT_OUT_POSChain | dbo.D_POSChain | ID_CustomerInHierarchy |
| mdt.MDT_OUT_POSChain_Remapped | dbo.D_POSChain_Remapped | |
| mdt.MDT_OUT_CustomerIn_POSChain | dbo.D_CustomerIn_POSChain |
6. Tables DS MDT Safir¶
- Тип: Sequence Container
- Описание: Обработка DS таблиц для Safir
6.1 Clear DS tables¶
- Тип: Foreach Loop Container
- Описание: Очистка DS таблиц
- Цикличность: Foreach Loop Container
Подшаг: Delete DS tables rows - Тип: Execute SQL Task - Описание: Удаление строк из DS таблиц - Процедура: etl.usp_MDT_DS_Load - Параметры мэппинга данных: (аналогично 7.1)
6.2 Filling DS tables¶
- Тип: Foreach Loop Container
- Описание: Заполнение DS таблиц
- Цикличность: Foreach Loop Container
Подшаг: Insert and Update DS tables rows - Тип: Execute SQL Task - Описание: Вставка и обновление строк в DS таблицах - Процедура: etl.usp_MDT_DS_Load - Параметры мэппинга данных: (аналогично 7.2)
Используемые объекты:
| DS_TableName_Source | DS_TableName_Destination |
|---|---|
| dbo.SA_CHGO_SubChannel_SellOut | dbo.MDT_DS_CHGO_SubChannel_SellOut |
| dbo.SA_CHGO_POSType | dbo.MDT_DS_CHGO_POSType |
| dbo.SA_CHGO_POSTypeGroup | dbo.MDT_DS_CHGO_POSTypeGroup |
| dbo.SA_CHGO_EmployeeDim | dbo.MDT_DS_CHGO_EmployeeDim |
| dbo.SA_DWH_Employee_SCD | dbo.MDT_DS_DWH_Employee_SCD |
| dbo.SA_CHGO_PositionFunction | dbo.MDT_DS_CHGO_PositionFunction |
| dbo.SA_DWH_Constants | dbo.MDT_DS_DWH_Constants |
| dbo.SA_CHGO_POSChainType | dbo.MDT_DS_CHGO_POSChainType |
| dbo.SA_CHGO_POSChain | dbo.MDT_DS_CHGO_POSChain |
| dbo.SA_CHIPITA_POSChain | dbo.MDT_DS_CHIPITA_POSChain |
7. Tables MDT to DWH¶
- Тип: Sequence Container
- Описание: Загрузка данных из MDT в DWH
- Цикличность: Foreach Loop Container (Filling MDT tables)
7.1 Execute usp_MDT_to_DWH¶
- Тип: Execute SQL Task
- Описание: Загрузка данных из MDT в DWH
- Процедура: etl.usp_MDT_to_DWH
- Параметры мэппинга данных:
- Batch → User::Batch
- DWH_Link_Name → User::DWH_Link_Name
- DWH_DB_Name → User::DWH_DB_Name
- MDT_Link_Name → User::MDT_Link_Name
- MDT_DB_Name → User::MDT_DB_Name
- TableName_Source → User::TableName_Source
- TableName_Destination → User::TableName_Destination
Используемые объекты:
| TableName_Source |
|---|
| dbo.MDT_OUT_SubChannel_SellOut |
| dbo.MDT_OUT_POSTypeGroup |
| dbo.MDT_OUT_POSTypeChannel |
| dbo.MDT_OUT_POSType |
| dbo.MDT_OUT_MSLCalculation |
| dbo.MDT_OUT_Employee |
| dbo.MDT_OUT_Employee_SCD |
| dbo.MDT_OUT_ChannelClassifier |
| dbo.MDT_OUT_SellOutBonusPercent |
| dbo.MDT_OUT_PositionFunction |
| dbo.MDT_OUT_PositionFunctionAlternativeRule |
| dbo.MDT_OUT_Constants |
| dbo.MDT_OUT_POSChainType |
| dbo.MDT_OUT_POSChainTypeSpecific |
| dbo.MDT_OUT_POSChain |
| dbo.MDT_OUT_POSChain_Remapped |
| dbo.MDT_OUT_CustomerIn_POSChain |
Список задействованных объектов¶
1. Базы данных¶
- DWH: KRAFT_DWH_CSL
- MDT: KRAFT_MDT_CSL
2. Внешние параметры¶
Запуск осуществляется с параметрами конфигурации внутри пакета, через переменные:
- DWH_DB_Name = KRAFT_DWH_CSL
- DWH_Link_Name = KRAFT_DWH_CSL_LINK
- DWH_LoginName = DWHSQLUser
- DWH_LoginPwd = ***
- DWH_ServerName = arrrumosapp17