Melhor maneira de documentar mapeamentos de banco de dados para migrações [fechado]

Estou trabalhando em um projeto que inclui o mapeamento de elementos de banco de dados para uma migração e queria saber quais ferramentas outras pessoas estavam usando para fazer isso?

O Excel é uma maneira muito flexível de documentar mapeamentos simples, mas eu queria saber se alguém tinha uma metodologia específica que eles seguiram ou outras ferramentas que eles poderiam recomendar?

A maneira mais comum de fazer isso Excel, mas tem suas vantagens e desvantagens:

• É muito difícil atualizar a planilha se um dos lados da migração mudar (devido à falta de algo, algo mudando etc.)
• O Excel é mais difícil de usar pelas pessoas que implementam as regras documentadas nele.
• O rastreamento de alterações é quase impossível se houver várias pessoas colaborando no documento.

Prefiro usar os recursos de linhagem de dados das ferramentas de modelagem de dados, como ER / Studio, ERwin ou PowerDesigner, para rastrear as transformações necessárias para a migração de um repositório de dados para outro. Eu recebo todos os benefícios do ER e comparo com a origem e o destino, além de nenhuma das compensações mencionadas acima. Isso realmente faz a diferença.

Se você estiver tentando documentar mapeamentos de dados, uma planilha é provavelmente a abordagem mais simples, embora não seja ótima para nada além de um mapeamento 1: 1. Algumas abordagens são:

Excel: você pode usar uma planilha para os mapeamentos, principalmente onde eles são simples. Se seus bancos de dados não são isomórficos (ou seja, não possuem um mapeamento 1: 1 para todos os campos nos quais você está interessado), a documentação do mapeamento pode ser um pouco mais complexa. Se as diferenças forem pequenas, você ainda pode documentar isso em uma planilha adicionando notas aos campos em que o mapeamento é mais complexo.

Ferramenta CASE com metamodelo personalizado Há um ou dois anos, criei um metamodelo estendido e alguns scripts associados para o Sparx Enterprise Architect. Isso me permitiu configurar representações esquemáticas dos mapeamentos e possuía algumas primitivas de modelagem que permitiam documentar transformações.

Observe que isso requer um pouco de programação - e algum tempo bisbilhotando a API COM apresentada pela EA e possivelmente o modelo de repositório. No entanto, não é tão opaco - muito mais simples que o modelo de repositório (por exemplo) no Oracle Designer.

Se você tiver um trabalho de migração de dados realmente complexo, poderá escrever scripts que consultem o modelo para garantir (por exemplo) que não haja itens não mapeados. O gerador de relatórios do repositório também é bastante flexível no que você pode incluir em um relatório - não tive muitos problemas para obter relatórios personalizados dele que faziam a maior parte do que eu queria. Você também pode escrever coisas que extraem dados do modelo e os despejam em (por exemplo) uma planilha.

Diagramas, incluindo elementos de modelo personalizados (o EA possui um recurso de definição de forma e conector) também podem ser criados para uma visão geral gráfica das especificações de migração.

O valor dessa abordagem é que você pode automatizar alguns dos controles nos documentos de migração e validar se possui uma cobertura completa de tudo o que precisa. Por exemplo, você também pode incluir referências a requisitos de dados no modelo de repositório e usar links com tags especialmente entre esses e os modelos de dados de origem ou destino.

Ferramentas de ETL: se você tiver acesso a uma das melhores ferramentas de ETL, como o Informatica Powercentre, poderá configurar os mapeamentos lá. Algumas ferramentas de ETL são auto-documentadas e você também pode usar a ferramenta para fazer a migração. O SSIS fará o mapeamento, mas não é auto-documentado dessa maneira.

O que você realmente deseja é uma ferramenta CASE com o meta-modelo para mapeamentos já configurado. Infelizmente, não conheço esse produto.

Eu sugeriria usar o SQL Power Doc por kendalvandyke. É a melhor ferramenta gratuita que faz uma documentação decente do SQL Server e Windows usando o Windows PowerShell. A TI está disponível no codeplex.

O SQL Power Doc é uma coleção de scripts e módulos do Windows PowerShell que descobrem, documentam e diagnosticam instâncias do SQL Server e suas configurações subjacentes de SO e máquina do Windows. O SQL Power Doc funciona com todas as versões do SQL Server do SQL Server 2000 a 2012 e todas as versões do Windows Server e Windows Operating Systems do Windows 2000 e Windows XP ao Windows Server 2012 e Windows 8. O SQL Power Doc também é capaz de documentar Bancos de dados SQL do Windows Azure.

Tive sucesso com o uso do SQL Doc do Red Gate . É simples de configurar e fornece uma boa documentação. No entanto, se você estiver procurando algo com representação gráfica de tabelas e visualizações e como elas se relacionam, não posso ajudá-lo.

Na minha experiência, nenhum dos aplicativos prontos que eu tentei fornece informações úteis suficientes. Na minha opinião, modelamos e armazenamos informações sobre quase tudo de valor em uma empresa. Os dados em si têm menos valor que os outros ativos de uma empresa? Então, por que não documentamos nossos dados e nossos outros ativos? O "repositório de metadados" não descreve com precisão o que é realmente necessário, porque mostra uma série de definições e estruturas que "ficam lá", na maioria das vezes não utilizadas, o que não deve ser o caso. "Aplicativo de metadados" é um termo muito melhor.

Eu modelaria seus metadados da maneira que você modela seus outros dados: pense em como deseja usá-los, crie um modelo de dados de metadados ou "metamodelo", crie estruturas de esquema análogas, preencha as tabelas e use os dados. Então você poderá não apenas documentar seus metadados, mas também analisá-los, descobrir problemas e até fazer previsões.

Com minha experiência pessoal trabalhando com uma organização gigante de assistência médica, onde vários dados de pagadores e fornecedores vêm de várias fontes, torna-se realmente uma tarefa difícil documentá-los e mapeá-los usando a planilha do Excel. O diretor do AnalytiX Mapping Manager nos recomendou fazer um POC (www.analytixds.com)quem ele conheceu em uma conferência. Utilizamos um caso de uso ao vivo e os resultados foram excelentes. A solução é 100% orientada a metadados, acessível a partir de um navegador da web. Nós o usamos no nível da empresa. Ele verifica e organiza os metadados de uma ampla variedade de bancos de dados, modelos de dados, arquivos simples e dados não estruturados e identifica as dependências upstream e downstream com sua análise de impacto e linhagem de dados. A GUI é fácil de usar, com sua interface fácil de arrastar / soltar para criar especificações de mapeamento. Não apenas criamos mapeamento e documentos, mas também geramos automaticamente tarefas de geração de ETL para as ferramentas Informatica e SSIS ETL usadas internamente. Você pode importar facilmente suas planilhas herdadas e impor padrões de mapeamento com modelos de mapeamento personalizáveis ​​incorporados e ter controle total da versão.