Evenwicht tussen query performance en tijdsinspanning
In deze whitepaper wordt ingegaan op overwegingen die gemaakt moeten worden bij het ontwerpen van een grote, high performance relationele datawarehouse. Hierbij wordt specifieke aandacht besteed aan onvoorspelbare ad hoc queries en een aantal nieuwe functies van SQL Server 2005.
Naast voor de hand liggende zaken als hardwareselectie, database configuratie en tabel en index-ontwerp worden een aantal strategieen geintroduceerd voor het bouwen van een data mart of data warehouse waarin het evenwicht tussen query performance en de daarvoor benodigde tijdsinspanning centraal staan.
De performance van een datawarehouse wordt meestal op 2 manieren ervaren: het updaten van de database en het uitvoeren van queries. Updaten omhelst meer dan het uitvoeren van ETL taken. Database administrators zijn verantwoordelijk voor het ontwerp en beheer van een zo efficient mogelijke database en de daarbij behorende processen. Ook queries zijn er in verschillende vormen zoals; end-user, ad hoc, rapportage tools (zoals Reporting Services) en het laden van Analysis Services of andere OLAP cubes. Omdat Analysis Services zeer voorspelbaar is in het type queries dat ze uitvoert, ligt de focus van deze paper op directe queries in relationele databases. Deze kunnen ad hoc zijn via query tools, danwel meer voorspelbaar in de vorm van pre-coded rapporten.
Deze whitepaper veronderstelt basis kennis over data warehousing concepten, dimensional modeling en SQL Server 2005.
Inhoudsopgave:
Introduction
Creating a Solid Foundation
- Hardware considerations
- SQL Server configuration
- Database configuration
- Locking
- Instant file initialization
- Auto Shrink
- Auto update statistics
- Disk layout
Table Design
- Declarative referential integrity and constraints
- Indexing strategies
- Dimension table indexing
- Fact table indexing
- Using a Smart Date key
- Evaluating index utilization
- Index fragmentation
- Partitioning for fast loads and query performance
- Partitioning considerations
- Partition loading
- Co-aligned partitions
- Partition disk allocation
Optimizing the Data Warehouse Environment
- Aggregation strategies
- Designing summary tables
- Analysis Services
- A process for designing summary tables
- Indexed views vs. summary tables
- Improving summary table performance
- Summary tables and Report Builder
Conclusion
Evenwicht tussen query performance en tijdsinspanning
In deze whitepaper wordt ingegaan op overwegingen die gemaakt moeten worden bij het ontwerpen van een grote, high performance relationele datawarehouse. Hierbij wordt specifieke aandacht besteed aan onvoorspelbare ad hoc queries en een aantal nieuwe functies van SQL Server 2005.
Naast voor de hand liggende zaken als hardwareselectie, database configuratie en tabel en index-ontwerp worden een aantal strategieen geintroduceerd voor het bouwen van een data mart of data warehouse waarin het evenwicht tussen query performance en de daarvoor benodigde tijdsinspanning centraal staan.
De performance van een datawarehouse wordt meestal op 2 manieren ervaren: het updaten van de database en het uitvoeren van queries. Updaten omhelst meer dan het uitvoeren van ETL taken. Database administrators zijn verantwoordelijk voor het ontwerp en beheer van een zo efficient mogelijke database en de daarbij behorende processen. Ook queries zijn er in verschillende vormen zoals; end-user, ad hoc, rapportage tools (zoals Reporting Services) en het laden van Analysis Services of andere OLAP cubes. Omdat Analysis Services zeer voorspelbaar is in het type queries dat ze uitvoert, ligt de focus van deze paper op directe queries in relationele databases. Deze kunnen ad hoc zijn via query tools, danwel meer voorspelbaar in de vorm van pre-coded rapporten.
Deze whitepaper veronderstelt basis kennis over data warehousing concepten, dimensional modeling en SQL Server 2005.
Inhoudsopgave:
Introduction
Creating a Solid Foundation
- Hardware considerations
- SQL Server configuration
- Database configuration
- Locking
- Instant file initialization
- Auto Shrink
- Auto update statistics
- Disk layout
Table Design
- Declarative referential integrity and constraints
- Indexing strategies
- Dimension table indexing
- Fact table indexing
- Using a Smart Date key
- Evaluating index utilization
- Index fragmentation
- Partitioning for fast loads and query performance
- Partitioning considerations
- Partition loading
- Co-aligned partitions
- Partition disk allocation
Optimizing the Data Warehouse Environment
- Aggregation strategies
- Designing summary tables
- Analysis Services
- A process for designing summary tables
- Indexed views vs. summary tables
- Improving summary table performance
- Summary tables and Report Builder
Conclusion