Otimizando o desempenho do BCP para dados BLOB

Eu sou o processo de planejar a migração ao vivo de um banco de dados de 2 TB para tabelas particionadas. O sistema está falando amplamente de um repositório de documentos, sendo a maior parte do espaço alocado para LOBs entre 50kb e 500kb, com uma pequena porcentagem no intervalo de 500kb a 1MB. Parte da migração envolverá dados de BCP do banco de dados antigo para o novo.

O BCP é a abordagem preferida, pois a divisão atual / histórica nos dados permite extrair os dados mais antigos em etapas (durante períodos mais silenciosos) antes de uma troca final, minimizando o impacto no sistema ativo. O volume de dados e a disponibilidade de armazenamento impedem uma reconstrução no local para um esquema de partição .

Suspeito que talvez haja alguns ganhos de desempenho ao experimentar KILOBYTES_PER_BATCH em vez de ROWS_PER_BATCH, devido ao conteúdo do BLOB. É sugerido na documentação do BCP que o SQL pode otimizar as operações com base nesse valor.

O que não consigo encontrar é qualquer orientação sobre a natureza dessas otimizações ou por onde começar meus testes. Na ausência de sugestões, tentarei pequenas tiragens nos limites de 4/8/16/32 / 64mb para começar.

Provavelmente, existem alguns ganhos com a alteração do tamanho do pacote (parâmetro BCP -a, em vez da configuração no nível do servidor), mas estou inclinado a aumentar isso para o máximo de 65535, a menos que alguém tenha uma abordagem mais formulada.

Esta não é uma resposta direta à sua pergunta, mas existem alguns artigos que você se beneficiaria com a leitura (caso não os tenha encontrado primeiro :-)). Trata-se de carregar muitos dados usando a cópia bcp / bulk. Eu li todos eles e não encontrei nada detalhado sobre KILOBYTES_PER_BATCH, todos eles estão usando ROWS_PER_BATCH, mas tenho certeza que você encontrará outras informações úteis.

• Carregue 1 TB em menos de 1 hora (da equipe SQL CAT) - lista de conselhos a partir daqui (citação):

  • Execute tantos processos de carregamento quanto as CPUs disponíveis. Se você possui 32 CPUs, execute 32 cargas paralelas. Se você tiver 8 CPUs, execute 8 cargas paralelas.
  • Se você tiver controle sobre a criação de seus arquivos de entrada, faça-os de um tamanho igualmente divisível pelo número de threads de carregamento que você deseja executar em paralelo. Verifique também se todos os registros pertencem a uma partição, se você desejar usar a estratégia de partição de comutador.
  • Use a inserção em massa em vez do BCP se você estiver executando o processo na máquina do SQL Server.
  • Use o particionamento de tabela para obter outros 8 a 10%, mas apenas se seus arquivos de entrada forem GARANTIDOS para corresponder à sua função de particionamento, o que significa que todos os registros em um arquivo devem estar na mesma partição.
  • Use TABLOCK para evitar o bloqueio de linha por vez.
  • Use ROWS PER BATCH = 2500, ou algo próximo disso, se estiver importando vários fluxos para uma tabela.

• As 10 melhores práticas recomendadas para criar um data warehouse relacional em grande escala (da equipe do SQL CAT) - conselhos (cotação):

  • Use o modelo de recuperação SIMPLE ou BULK LOGGED durante o carregamento inicial dos dados.
  • Crie a tabela de fatos particionada com o índice em cluster.
  • Crie tabelas intermediárias não indexadas para cada partição e separe os arquivos de dados de origem para preencher cada partição.
  • Preencha as tabelas temporárias em paralelo (use várias tarefas BULK INSERT, BCP ou SSIS)
  • Crie um índice em cluster em cada tabela intermediária e crie restrições CHECK apropriadas.
  • Mude todas as partições para a tabela particionada.
  • Crie índices não agrupados em cluster na tabela particionada.

• O Guia de Desempenho de Carregamento de Dados (da equipe do SQL CAT)

• Carregando dados em massa em uma tabela particionada - artigo de práticas recomendadas do SQL Server (artigo da Technet)

• Estudo de caso de carregamento em massa incremental do SQL Server 2000 (artigo Technet)

• Lições aprendidas e descobertas de um grande POC acelerado (da equipe do SQL CAT)

• Dicas de ajuste de desempenho para o SQL Server BCP (por Brad McGehee)

• Impacto no desempenho: como encontrar o tamanho de lote mais ideal (por Linchi Shea)

e as referências óbvias do MSDN:

• Gerenciando lotes para importação em massa
• Gerenciamento de tamanhos de lote de cópias em massa
• Considerações sobre desempenho de cópias em massa
• Diretrizes para otimizar a importação em massa
• Otimizando o desempenho da importação em massa

Na minha experiência pessoal, consegui fazer um carregamento rápido de dados usando carregamento paralelo e testes com vários tamanhos de lote. Eu acho que apenas testes pessoais servirão para você. Espero que você encontre bons conselhos nas referências.