Perguntas com a marcação «data-warehouse»

As topologias dominantes da modelagem do Data Warehouse (Star, Snowflake) são projetadas com relacionamentos um-para-muitos. A legibilidade, o desempenho e a estrutura da consulta diminuem severamente quando confrontados com um relacionamento muitos para muitos nesses esquemas de modelagem. Quais são algumas maneiras de implementar um relacionamento muitos para muitos entre …

25 database-design  data-warehouse 

Percebi que minha empresa usa um processo ELT (extrair-carregar-transformar) em vez de usar um processo ETL (extrair-transformar-carregar). Quais são as diferenças nas duas abordagens e em quais situações uma seria "melhor" que a outra? Seria ótimo se você pudesse fornecer alguns exemplos.

19 data-warehouse  etl  business-intelligence 

Estou ajustando o desempenho de um data warehouse usando índices. Eu sou bastante novo no SQL Server 2014.A Microsoft descreve o seguinte: "Vemos o índice columnstore clusterizado como o padrão para armazenar grandes tabelas de fatos de data warehousing e esperamos que ele seja usado na maioria dos cenários de …

18 sql-server  foreign-key  data-warehouse  sql-server-2014  columnstore 

Ao usar uma tabela temporal com versão do sistema (nova no SQL Server 2016), quais são as implicações de autoria e desempenho da consulta quando esse recurso é usado para lidar com dimensões de alteração lenta em um grande armazém de dados relacionais? Por exemplo, suponha que eu tenha uma …

17 sql-server  data-warehouse  slowly-changing-dimension  sql-server-2016  temporal-tables 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Exchange Administrator Stack Exchange. Fechado há 4 anos . Eu me pergunto que essa pergunta ainda não foi feita. O Google só …

16 tools  data-warehouse  database-agnostic  business-intelligence 

Ocasionalmente, faço download de conjuntos de dados publicamente disponíveis na forma de dBs do Postgres. Esses conjuntos de dados são atualizados / modificados / expandidos ao longo do tempo pelo host do repositório. Existe um comando ou ferramenta do Postgres (idealmente FOSS) que possa mostrar as diferenças entre um banco …

13 postgresql  data-warehouse 

Preciso oferecer suporte a campos e valores dinâmicos em um grande datawarehouse para armazenar o log de solicitações de API. Meu caso de usuário é que preciso armazenar todas as cadeias de consulta de solicitações de API e poder executar consultas com elas no futuro (para que não seja apenas …

13 database-design  data-warehouse  eav  star-schema  redshift 

Com base em minha análise, um modelo dimensional completo para nosso data warehouse exigirá a extração de mais de 200 tabelas de origem. Algumas dessas tabelas serão extraídas como parte de uma carga incremental e outras serão uma carga completa. Para observar, temos cerca de 225 bancos de dados de …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

Eu tenho um armazém de dados de 200 GB no SQL Server. Tenho experimentado tempos de execução muito lentos para algumas consultas; por exemplo, 12 horas para uma deleteconsulta simples com um inner join. Depois de fazer algumas pesquisas com os planos de execução, atualizei as estatísticas das 2 tabelas …

12 sql-server  data-warehouse  statistics 

Estamos começando a projetar os blocos de construção de um data mart / armazém e precisamos oferecer suporte a todos os fusos horários (nossos clientes são de todo o mundo). Ao ler as discussões on-line (e nos livros), uma solução comum parece ter uma dimensão separada de data e hora, …

12 sql-server-2012  data-warehouse  datetime  timezone 

Alguma literatura sobre compactação de dados do SQL Server que li afirma que o custo de gravação aumenta para cerca de quatro vezes o que seria normalmente necessário. Também parece implicar que essa é a principal desvantagem da compactação de dados, o que implica fortemente que, para um banco de …

11 sql-server  sql-server-2012  data-warehouse  compression 

Sou bastante novo no PostgreSQL, nunca fiz uma grande implantação usando-o antes. Mas tenho uma boa experiência em soluções corporativas e quero tentar aplicar um pouco do que aprendi usando o PostgreSQL. Eu tenho um site dimensionado para lidar com grande número de dados e tráfego. A infraestrutura será construída …

11 postgresql  data-warehouse  etl 

No Oracle Exadata (11gR2), temos um banco de dados relativamente robusto. cpu_count é 24 parallel_server_instances é 2 parallel_threads_per_cpu é 2 Observamos, através da observação no Oracle Enterprise Manager (OEM), que o desempenho foi péssimo devido à execução de consultas em série. Para resolver isso, todas as tabelas, visualizações materializadas e …

11 oracle  data-warehouse 

Estamos tentando otimizar um design de data warehouse que ofereça suporte a relatórios de dados por muitos fusos horários. Por exemplo, podemos ter um relatório de um mês de atividade (milhões de linhas) que precisa mostrar a atividade agrupada por hora do dia. E é claro que a hora do …

10 sql-server  database-design  data-warehouse  reporting  timezone 

Estou trabalhando em um cálculo de "parte traseira do envelope" para uma configuração de banco de dados de relatórios de 100 TB. Estou procurando pensamentos dos especialistas aqui. Ambiente proposto: Capacidade de armazenamento ~ 100 TB Tabelas ~ 200, tamanhos que variam de 1 GB a 5 TB. tamanho médio …

10 oracle  database-recommendation  data-warehouse