Перейти к содержанию

Название пакета: DWH_ETL_SellOutReal

Описание

Загрузка данных Sell Out из Chicago в хранилище KRAFT_DWH_CSL

Схема

6

Список шагов

1. Create new batch identifier

  • Тип: Execute SQL Task
  • Описание: Генерация ID выполнения ETL-процесса
  • Процедура: audit.usp_GetBatch
  • Параметры мэппинга данных:
  • Batch → User::Batch (Output)

2. Load data to StageArea

  • Тип: Sequence Container
  • Описание: Загрузка данных из источника Chicago в Stage Area

2.1 Source CHGO to SA DWH

  • Тип: Foreach Loop Container
  • Описание: Загрузка фактов продаж и возвратов из Chicago
  • Цикличность: Foreach Loop Container

Подшаг: Load Source 14 data for table - Тип: Execute SQL Task - Процедура: etl.usp_ImportDataFromSQLServer - Параметры мэппинга данных: - Batch → User::Batch - Link_Name → User::Source14_Link_Name - DB_Name → User::Source14_DB_Name - TableNameSource → User::Source14_TableNameSource - TableNameDestination → User::Source14_TableNameDestination - TableIncludedColumns → User::Source14_TableIncludedColumns - TableExcludedColumns → User::Source14_TableExcludedColumns - TableDistinct → User::Source14_TableDistinct - TableWhere → User::Source14_TableWhere

Используемые объекты:

Source14_TableNameSource Source14_TableNameDestination Source14_TableWhere
dbo.SalesFact sa.SA_CHGO_SalesFact SK_Date_ID >= cast(convert(varchar(6),(dateadd(m,-3,getdate())),112) as int) * 100 + 1 and SK_Date_ID < cast(convert(varchar(6),(dateadd(m,1,getdate())),112) as int) * 100 + 1
dbo.ReturnFact sa.SA_CHGO_ReturnFact SK_Date_ID >= cast(convert(varchar(6),(dateadd(m,-3,getdate())),112) as int) * 100 + 1 and SK_Date_ID < cast(convert(varchar(6),(dateadd(m,1,getdate())),112) as int) * 100 + 1

3. Process Fact tables

  • Тип: Sequence Container
  • Описание: Обработка таблиц фактов реальных продаж
  • Цикличность: Foreach Loop Container (Enumerate Fact tables 1)

3.1 Load data to Fact table

  • Тип: Execute SQL Task
  • Описание: Загрузка данных в таблицу фактов реальных продаж
  • Процедура: etl.usp_LoadFactPart
  • Параметры мэппинга данных:
  • @Batch → User::Batch
  • @sSourceViewName → User::FACT_SourceViewName
  • @sFactTableName → User::FACT_FactTableName
  • @sPartColumnDate → User::FACT_PartColumnDate
  • @sExcludedColumns → User::FACT_ExcludedColumns
  • @nUseTempTable → User::FACT_UseTempTable
  • @nMode → User::FACT_Mode
  • @sTablePartition → User::FACT_FactPartTableName

Используемые объекты:

FACT_SourceViewName FACT_FactTableName FACT_PartColumnDate FACT_FactPartTableName
dbo.VIEW_F_SellOutReal dbo.F_SellOutReal nPartYearMonth dbo.VIEW_F_SellOut_PeriodMonth3

4. Process Historical tables

  • Тип: Sequence Container
  • Описание: Обработка исторических таблиц реальных продаж
  • Цикличность: Foreach Loop Container (Enumerate Historical tables)

4.1 Load data to Historical table

  • Тип: Execute SQL Task
  • Описание: Загрузка данных в исторические таблицы
  • Процедура: etl.usp_LoadHistoryPart
  • Параметры мэппинга данных:
  • @Batch → User::Batch
  • @ViewNameHistory → User::ViewNameHistory
  • @TableNameHistory → User::TableNameHistory
  • @WhereColumns → User::WhereColumns
  • @HorizonLoadData → User::HorizonLoadData
  • @PartTableNameHistory → User::PartTableNameHistory

Используемые объекты:

ViewNameHistory TableNameHistory HorizonLoadData PartTableNameHistory
dbo.VIEW_H_SellOutReal_CHGO dbo.H_SellOutReal_CHGO 0 dbo.VIEW_H_SellOut_PeriodMonth3
dbo.VIEW_H_SellOutReturnReal_CHGO dbo.H_SellOutReturnReal_CHGO 0 dbo.VIEW_H_SellOut_PeriodMonth3

5. Lock Monitor

  • Тип: Execute SQL Task
  • Описание: Мониторинг блокировок (отключено - Disabled="True")

6. Finish batch identifier

  • Тип: Execute SQL Task
  • Описание: Завершение выполнения ETL-процесса
  • Процедура: audit.usp_UpdateBatch @nBatchID
  • Параметры мэппинга данных:
  • nBatchID → User::Batch

Список задействованных объектов

1. Базы данных

  • DWH: KRAFT_DWH_CSL

2. Источники данных

  1. Source14: chicago_kraft_wh (KRAFT_CHGO_CSL_LINK)

3. Внешние параметры

Запуск осуществляется с параметрами конфигурации внутри пакета, через переменные:

  • DWH_DB_Name = KRAFT_DWH_CSL
  • DWH_Link_Name = KRAFT_DWH_CSL_LINK
  • DWH_LoginName = DWHSQLUser
  • DWH_LoginPwd = ***
  • DWH_ServerName = arrrumosapp14
  • Source14_DB_Name = chicago_kraft_wh
  • Source14_Link_Name = KRAFT_CHGO_CSL_LINK
  • Source14_LoginName = SQLRead
  • Source14_LoginPwd = ***
  • Source14_ServerName = arrrumosapp17