Перейти к содержанию

Название пакета: DWH_OLAP_Scorecard

Описание

Обработка OLAP базы данных Scorecard с использованием ASSP (Analysis Services Stored Procedures). Пакет выполняет подготовку, обработку измерений, партиций, индексов групп мер и очистку кэша для куба в базе данных.

Схема

12

Список шагов

1. Create new batch identifier

  • Тип: Execute SQL Task
  • Описание: Создание нового идентификатора пакета для аудита
  • Процедура: audit.usp_GetBatch
  • Параметры:
  • @Batch (output) - идентификатор пакета
  • @PackageName - название пакета

2. Sequence Container

Основной контейнер с последовательностью обработки OLAP объектов.

2.1. Prepare

Описание: Подготовительный этап

Шаг: ASSP Helper After Deployment - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_HelperAfterDployment - Назначение: Вспомогательная процедура после развертывания OLAP базы - Параметры: - @pnBatch_ID - @psLinkedServerName - @psDatabaseName - @pnKeyValue_From = 0 - @pnKeyValue_To = 0

2.2. Dimenstion processing - ASSP (MDX, XMLA)

Описание: Обработка измерений

Шаг 1: Fill All Dimension - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_FillDimensionQueue - Назначение: Заполнение очереди всех измерений для обработки

Шаг 2: Process Dimension - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessDimensionQueue - Назначение: Обработка очереди измерений - Параметры: - @pnMaxParallel = MaxParallelDimension (10) - @psProcessType = ProcessUpdate - @psProcessAffectedObjects = false

2.3. Partition processing - ASSP (MDX, XMLA)

Описание: Обработка партиций групп мер

Шаг 1: Merge partitions CONFIG with OLAPDB - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_MergeMeasureGroupPartitions - Назначение: Слияние партиций всех кубов согласно конфигурации - Параметры: - @psCubeName = null (все кубы) - @psMeasureGroupName = null (все группы мер)

Шаг 2: Process Measure Partition - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessMeasureGroupPartitionQueue - Назначение: Обработка очереди партиций групп мер - Параметры: - @PSDatabaseNameTemplate = SellOut_Chicago_Process - @pnMaxParallel = MaxParallelPartition (8) - @psProcessType = ProcessData - @psProcessAffectedObjects = false

2.4. MeasureGroup Index Maintetance

Описание: Обслуживание индексов групп мер

Шаг: Process index update on all measure groups - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessMeasureGroup - Назначение: Обновление индексов всех групп мер - Параметры: - @pnMaxParallel = MaxParallelMeasure (10) - @psProcessType = ProcessIndexes - @psProcessAffectedObjects = false - @pnBatchSize = 1

2.5. Default Process Olap Cubes

Описание: Обработка всех OLAP кубов по умолчанию

Шаг: Default Process Olap Cubes - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessCube - Назначение: Обработка всех кубов в базе данных - Параметры: - @psCubeName = null (все кубы) - @pnMaxParallel = 32 - @psProcessType = ProcessDefault - @psProcessAffectedObjects = false - @pnBatchSize = 1

2.6. Full Process Olap Cubes (отключен)

Описание: Полная обработка всех OLAP кубов (Disabled="True")

Шаг: Full Process Olap Cubes - Тип: Execute SQL Task - Процедура: ssas.usp_ASSP_ProcessCube - Назначение: Полная обработка всех кубов в базе данных - Параметры: - @psCubeName = null (все кубы) - @pnMaxParallel = 32 - @psProcessType = ProcessFull - @psProcessAffectedObjects = false - @pnBatchSize = 1

2.7. Clear Cache

Описание: Очистка кэша всех OLAP кубов

Шаг: Clear Cache Olap Cubes - Тип: Execute SQL Task - Процедура: etl.usp_ASSP_ClearCache - Назначение: Очистка кэша всех кубов - Параметры: - @psCubeName = null (все кубы)

3. Finish batch identifier

  • Тип: Execute SQL Task
  • Описание: Завершение пакета и обновление статуса в аудите
  • Процедура: audit.usp_UpdateBatch
  • Параметры: @Batch

Список задействованных объектов

1. Подключения

  • DWH_BI: ADO.NET подключение к базе данных KRAFT_DWH_CSL
  • Сервер: arrrumosapp17
  • Пользователь: DWHSQLUser
  • База данных: KRAFT_DWH_CSL

2. Внешние параметры, конфигурация

  • Config File: CFG_DWH_Connection.dtsConfig

Системные переменные: - Batch = -2 (идентификатор пакета) - BatchSize = 1 - Error = 0 - Worker = 0

Конфигурация OLAP: - OLAP_DB_Name = "SellOut_Chicago_Process" - OLAP_LINK_Name = "OLAP_APP14_SellOut_Chicago_Process" - ConfigurationDatabaseNameTemplate = "SellOut_Chicago_Process"

Конфигурация DWH: - DWH_ServerName = "arrrumosapp17" - DWH_DB_Name = "KRAFT_DWH_CSL" - DWH_Link_Name = "KRAFT_DWH_CSL_LINK" - DWH_LoginName = "DWHSQLUser" - DWH_LoginPwd = "*"