Перейти к содержанию

Название пакета: DWH_OLAP_OLAP_CSL_SI_SFA_Measures

Описание

Обработка мер (Measures) и партиций OLAP кубов Sell In и SFA с использованием ASSP (Analysis Services Stored Procedures). Пакет выполняет подготовку, обработку измерений, партиций, индексов и очистку кэша.

Схема

11

Список шагов

1. Create new batch identifier

  • Тип: Execute SQL Task
  • Описание: Создание нового идентификатора пакета для аудита
  • Процедура: audit.usp_GetBatch
  • Параметры:
  • @Batch (output) - идентификатор пакета
  • @PackageName - название пакета

2. Sequence Container

Основной контейнер с последовательностью обработки OLAP объектов.

2.1. Prepare

Описание: Подготовительный этап

Шаг: ASSP Helper After Dployment - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_HelperAfterDployment - Назначение: Вспомогательная процедура после развертывания OLAP базы - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @pnKeyValue_From = 0 - @pnKeyValue_To = 0

2.2. Dimenstion processing - ASSP (MDX, XMLA)

Описание: Обработка измерений (отключен: Disabled="True")

Последовательность: 1. Fill All Dimension → 2. Process Dimension

Шаг 1: Fill All Dimension - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_FillDimensionQueue - Назначение: Заполнение очереди измерений для обработки - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName

Шаг 2: Process Dimension - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessDimensionQueue - Назначение: Обработка очереди измерений - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @pnMaxParallel = MaxParallelDimension (10) - @psProcessType = ProcessUpdate - @psProcessAffectedObjects = false

2.3. Partition processing - ASSP (MDX, XMLA)

Описание: Обработка партиций групп мер

Последовательность: 1. Merge partitions CONFIG with OLAPDB SFA → 2. Merge partitions CONFIG with OLAPDB Sell In → 3. Process Measure Partition

Шаг 1: Merge partitions CONFIG with OLAPDB SFA - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_MergeMeasureGroupPartitions - Назначение: Слияние партиций куба SFA согласно конфигурации - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @psCubeName = CubeName (SFA) - @psMeasureGroupName = null

Шаг 2: Merge partitions CONFIG with OLAPDB Sell In - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_MergeMeasureGroupPartitions - Назначение: Слияние партиций куба Sell In согласно конфигурации - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @psCubeName = CubeName1 (Sell In) - @psMeasureGroupName = null

Шаг 3: Process Measure Partition - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessMeasureGroupPartitionQueue - Назначение: Обработка очереди партиций групп мер - Параметры: - @pnBatch_ID - @PSDatabaseNameTemplate = SellOut_Chicago_Process - @psLinkedServerName - @psDatabaseName - @pnMaxParallel = MaxParallelPartition (8) - @psProcessType = ProcessData - @psProcessAffectedObjects = false

2.4. MeasureGroup Index Maintetance

Описание: Обслуживание индексов групп мер

Шаг: Process index update on all measure groups - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessMeasureGroup - Назначение: Обновление индексов всех групп мер - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @pnMaxParallel = MaxParallelMeasure (10) - @psProcessType = ProcessIndexes - @psProcessAffectedObjects = false - @pnBatchSize = 1

2.5. Default Process Olap Cubes

Описание: Обработка OLAP кубов по умолчанию

Шаги выполняются параллельно:

Шаг 1: Default Process Olap Cube Sell In - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessCube - Назначение: Обработка куба Sell In - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @psCubeName = CubeName1 (Sell In) - @pnMaxParallel = 32 - @psProcessType = ProcessDefault - @psProcessAffectedObjects = false - @pnBatchSize = 1

Шаг 2: Default Process Olap Cube SFA - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessCube - Назначение: Обработка куба SFA - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @psCubeName = CubeName (SFA) - @pnMaxParallel = 32 - @psProcessType = ProcessDefault - @psProcessAffectedObjects = false - @pnBatchSize = 1

2.6. Clear Cache

Описание: Очистка кэша OLAP кубов

Шаги выполняются параллельно:

Шаг 1: Clear Cache Olap Cube SFA - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_ClearCache - Назначение: Очистка кэша куба SFA - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @psCubeName = CubeName (SFA)

Шаг 2: Clear Cache Olap Cube Sell In - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_ClearCache - Назначение: Очистка кэша куба Sell In - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @psCubeName = CubeName1 (Sell In)

3. Finish batch identifier

  • Тип: Execute SQL Task
  • Описание: Завершение пакета и обновление статуса в аудите
  • Процедура: audit.usp_UpdateBatch
  • Параметры: @Batch

Список задействованных объектов

1. Подключения

  • DWH_BI: ADO.NET подключение к базе данных KRAFT_DWH_CSL
  • Сервер: arrrumosapp14
  • Пользователь: DWHSQLUser
  • База данных: KRAFT_DWH_CSL

2. Внешние параметры, конфигурация

  • Config File: CFG_DWH_Connection.dtsConfig

Системные переменные: - Batch = -2 (идентификатор пакета) - BatchSize = 1 - Error = 0 - Worker = 0

Конфигурация OLAP: - OLAP_DB_Name = "SellOut_Chicago_Process" - OLAP_LINK_Name = "OLAP_APP14_SellOut_Chicago_Process" - ConfigurationDatabaseNameTemplate = "SellOut_Chicago_Process" - CubeName = "SFA" - CubeName1 = "Sell In"

Конфигурация DWH: - DWH_ServerName = "arrrumosapp14" - DWH_DB_Name = "KRAFT_DWH_CSL" - DWH_Link_Name = "KRAFT_DWH_CSL_LINK" - DWH_LoginName = "DWHSQLUser" - DWH_LoginPwd = "*"