Описание базы DWH (KRAFT_DWH_CSL)¶
Основная база данных хранилища, разделенная на слои (уровни хранения информации). Каждый слой выполняет свою задачу: от хранения «сырых» данных из источников до подготовки структурированных витрин для бизнес-аналитики и отчетности.
1. Структура базы¶
Stage Area - инкремент данных из источников без бизнес логики
History Area - история данных из источников без бизнес логики
Data Mart - витрина данных для построения отчетов и анализа
1.1 Stage Area¶
Слой для промежуточной загрузки данных из внешних источников. Хранит данные в исходном виде без обработки, для их дальнейшего использования и трансформации.
1.1.1 Правила именования таблиц¶
Маска: sa.SA_sourceName_tableName_*
| Элемент маски | Описание | Пример: sa.SA_SAFIR_factSellIn_Daily |
|---|---|---|
| sa | схема объекта (Stage Area) | sa |
| SA | признак слоя данных (Stage Area) | SA |
| sourcename | наименование источника данных | SAFIR |
| tablename | наименование таблицы из источника | factSellIn |
| * | дополнительное произвольное описание | Daily |
В наименовании возможны и иные варианты последовательности объектов после SA_, а также указание не всех объектов.
1.1.2 Список источников¶
| Наименование источника | Пример таблицы |
|---|---|
| ASSA | SA_ASSA_ref_PosChain |
| CHGO | SA_CHGO_nsf_PromoGoodsSales |
| CHGOV | SA_CHGOV_Orders_InvoicesforVitrina |
| CHIPITA | SA_CHIPITA_CustomerSellOut_NKA |
| COMPLAINTS | SA_COMPLAINTS_ars_deviation |
| CRM | SA_CRM_Integration_Case |
| FILE | SA_FILE_SPD_WOS |
| IRIS | SA_IRIS_IMS_DATA |
| MDDB | SA_MDDB_MBP_ext |
| MRouter | SA_MRouter_MT_links |
| OPDB | SA_OPDB_Reports_Warehouses |
| OTM | SA_OTM_SHIPMENT_REFNUM |
| SAFIR | SA_SAFIR_factSellIn_Daily |
| SFIS | SA_SFIS_p2_calendar |
| SOPTool | SA_SOPTool_Cust_plan |
| STAR | SA_STAR_CSL_REPORTS |
| WHTest | SA_WHTest_SAP_TransportationCompanies |
1.1.3 Список таблиц¶
| Схема объекта | Наименование таблицы |
|---|---|
| sa | SA_ASSA_ref_PosChain |
| sa | SA_CHGO_nsf_PromoGoodsSales |
| … (выгрузка из бд) | … |
1.2. History Area¶
Слой для хранения исторических данных. Содержит копии загруженной информации из источников.** Хранит данные за все периоды (не только последний инкремент). Позволяет посмотреть весь горизонт данных в исходном виде.
1.2.1 Правила именования таблиц¶
Маска: dbo.H_sourceName_tableName_*
| Элемент маски | Описание | Пример: dbo.H_CHGO_SellOut_FRZ |
|---|---|---|
| dbo | схема объекта | dbo |
| H | признак слоя данных (History) | H |
| sourceName | наименование источника данных | CHGO |
| tableName | наименование таблицы из источника | SellOut |
| * | дополнительное произвольное описание | FRZ |
В наименовании возможны и иные варианты последовательности объектов после H_, а также указание не всех объектов.
1.2.2 Список таблиц¶
| Схема объекта | Наименование таблицы |
|---|---|
| dbo | H_AnswerDim_CHGO |
| dbo | H_ASSA_vw_NKA_MergeDocs_forOLAP |
| dbo | H_AuditApp_AuditSummary |
| … (выгрузка из бд) | … |
1.3 Data Mart¶
Слой для подготовки данных для аналитики. Содержит «витрины данных» - структуры для построения отчетов, дашбордов и аналитических моделей. Является основой для BI-систем (Power BI, Tableau и др.).
1.3.1 Правила именования таблиц¶
Маска: dbo.D/F_sourceName_tableName_*
| Элемент маски | Описание | Пример: dbo.D_CHGO_Orders_Docs |
|---|---|---|
| dbo | схема объекта | dbo |
| D | таблицы измерений (Dimensions) (например: заказы, клиенты) | D |
| F | таблицы фактов (Facts) (например: продажи, отгрузки) | F |
| sourceName | наименование источника данных | CHGO |
| tableName | наименование таблицы из источника | Orders |
| * | дополнительное произвольное описание | Docs |
В наименовании возможны и иные варианты последовательности объектов после D_ и F_, а также указание не всех объектов.
1.3.2 Список таблиц¶
| Схема объекта | Наименование таблицы |
|---|---|
| dbo | D_Orders_CHGO_Docs_dev |
| dbo | D_SIP_Listing_POS_History |
| dbo | D_Orders_CHGO_Docs |
| … (выгрузка из бд) | … |
2. Логические связи между объектами¶
В базе таблицы сопровождаются представлениями и связаны с ними названием, например таблица dbo.D_CustomerIn имеет представление dbo.VIEW_D_CustomerIn. View содержит логику, а таблица содержит данные.
2.1 Список таблиц и представлений с зависимостью¶
| Схема объекта | Наименование таблицы | Наименование представления |
|---|---|---|
| dbo | D_ACScenario | VIEW_D_ACScenario |
| dbo | D_Campaign | VIEW_D_Campaign |
| dbo | D_Claim | VIEW_D_Claim |
| dbo | D_ClaimDenialReason | VIEW_D_ClaimDenialReason |
| dbo | D_ClaimDeviation | VIEW_D_ClaimDeviation |
| … (выгрузка из бд) | … | … |