Perguntas com a marcação «etl»

Estou usando o PostgreSQL 9.1 no Ubuntu. O agendamento VACUUM ANALYZEainda é recomendado ou o vácuo automático é suficiente para atender a todas as necessidades? Se a resposta for "depende", então: Eu tenho um banco de dados largish (tamanho de despejo compactado de 30 GiB, diretório de dados de 200 …

38 postgresql  etl  vacuum 

Como parte de nosso processo ETL, comparamos as linhas da preparação no banco de dados de relatórios para descobrir se alguma das colunas realmente mudou desde que os dados foram carregados pela última vez. A comparação é baseada na chave exclusiva da tabela e em algum tipo de hash de …

29 sql-server  sql-server-2016  etl  sql-clr  hashing 

Questão: Eu tenho um script com cerca de 45 mil inserções de instruções select. Quando tento executá-lo, recebo uma mensagem de erro informando que fiquei sem memória. Como posso executar esse script? Contexto: Foram adicionados alguns novos campos de dados para que um aplicativo funcione bem com outro aplicativo que …

28 sql-server  sql-server-2005  etl 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Exchange Administrator Stack Exchange. Fechado há 4 anos . Eu estava usando o Pentaho Data Integration antes mesmo de o Pentaho o …

26 etl 

Percebi que minha empresa usa um processo ELT (extrair-carregar-transformar) em vez de usar um processo ETL (extrair-transformar-carregar). Quais são as diferenças nas duas abordagens e em quais situações uma seria "melhor" que a outra? Seria ótimo se você pudesse fornecer alguns exemplos.

19 data-warehouse  etl  business-intelligence 

Estamos fazendo um processo ETL. Quando tudo estiver dito e feito, há várias tabelas que devem ser idênticas. Qual é a maneira mais rápida de verificar se essas tabelas (em dois servidores diferentes) são de fato idênticas. Estou falando de esquema e dados. Posso fazer um hash na tabela que …

12 sql-server  sql-server-2008-r2  etl  except 

Com base em minha análise, um modelo dimensional completo para nosso data warehouse exigirá a extração de mais de 200 tabelas de origem. Algumas dessas tabelas serão extraídas como parte de uma carga incremental e outras serão uma carga completa. Para observar, temos cerca de 225 bancos de dados de …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

Sou bastante novo no PostgreSQL, nunca fiz uma grande implantação usando-o antes. Mas tenho uma boa experiência em soluções corporativas e quero tentar aplicar um pouco do que aprendi usando o PostgreSQL. Eu tenho um site dimensionado para lidar com grande número de dados e tráfego. A infraestrutura será construída …

11 postgresql  data-warehouse  etl 

Atualmente, estou no processo de criação de ETLs para nosso data warehouse. Estamos usando o SSIS 2008, mas estamos enfrentando problemas, o maior dos quais é a dificuldade em reutilizar componentes. Temos pacotes separados para cada tabela e cada pacote recebe como entrada um número de variáveis ​​de um pacote …

10 sql-server  etl 

Pesquisei o banco de dados Redshift da Amazon como uma possível substituição futura para nosso data warehouse. Minha experiência sempre foi no uso da modelagem dimensional e dos métodos de Ralph Kimball, por isso foi um pouco estranho ver que o Redshift não suporta recursos como o tipo de dados …

9 etl  dimensional-modeling  redshift