Como posso exportar um subconjunto de dados tabled de um banco de dados de produção para o meu banco de dados de testes local?

Temos um db: ~ 20GB baseado em postgres de produção relativamente grande. O banco de dados PostgreSQL está hospedado no heroku.

Gostaria de copiar um pequeno subconjunto dos dados da tabela no meu banco de dados local para que eu possa executar alguns testes neles sem precisar trabalhar na produção.

Eu não quero gerar dados de amostra pessoalmente, mas usar os dados que já existem no ambiente de produção.

~ 100 linhas de cada tabela no banco de dados seriam suficientes. Existe uma maneira fácil de conseguir isso?

Eu não usei essa ferramenta, mas Jailer promete fazer exatamente isso

Sub-definição de banco de dados e ferramenta de navegação. Exporta conjuntos de linhas consistentes e referencialmente intactos de bancos de dados relacionais (JDBC)

http://sourceforge.net/projects/jailer/

O carcereiro pode ajudar nessa situação. Estou trabalhando no mesmo que o seu (tentando obter ~ 100 registros de cada tabela) e aqui estão as etapas que eu fiz: - Encontre a entidade raiz (a que está associada a quase tabelas) e obtenha um subconjunto dos registros de um linha raiz (por exemplo, raiz é pessoas, procurarei todos os registros relacionados a people.id = 1 ...) - Após concluir a etapa 1, inicie novamente com outra tabela (a que você gostaria que tivesse 100 registros ) e obtenha seu subconjunto do resultado acima.

Outra opção é algo que eu tenho apenas recentemente se deparar (concedido, ainda estou para usá-lo, mas plano para breve): rdbms-subsetter.

É um pouco mais simples e mais leve que o Jailer, com alguns recursos / vantagens interessantes:

• CLI tão fácil de conectar às ferramentas existentes
• Código aberto
• Seguirá chaves estrangeiras para buscar um subconjunto coerente de dados
  • Se você não tiver chaves estrangeiras bem definidas, os relacionamentos poderão ser fornecidos por meio de um arquivo de configuração JSON. No meu caso, pretendo gerar essa configuração a partir de metadados do esquema armazenados em outro local (obrigado, Rails: \)
• Você pode segmentar uma linha específica e obter todos os registros relacionados (por exemplo, um cliente específico está tendo problemas, para que você possa selecionar tudo para tornar a conta de trabalho dos dados acessíveis localmente)
• Ele pode levar um número constante de registros por tabela ou um logaritmo para obter mais dados de tabelas maiores sem exagerar.

Vale mencionar outra opção especificamente para os bancos de dados Heroku, que usei bastante (como costumava trabalhar lá).

O Heroku é realmente muito rápido em criar um novo banco de dados com instantâneo, pois ele puxa os logs write-ahead primeiro para se preparar, depois se conecta ao banco de dados principal para recuperar o atraso e para de segui-lo. Você pode criar esses "garfos" nos aplicativos para evitar afetar demais a produção:

$ heroku addons:create heroku-postgres[:specific-plan] \
    --fork your-production-app::DATABASE \
    --app some-other-app-to-own-forked-database \
    [--as PRODUCTION_SNAPSHOT]

Em seguida, você pode inicializar seu aplicativo apontado localmente para esse instantâneo. Eu uso isso frequentemente para executar uma migração a seco de dados ou esquemas ou depurar problemas de clientes.

Nesse comando acima, se você tiver um banco de dados acessível com DATABASE_URLon your-production-app, você terminará com um banco de dados acessível com PRODUCTION_SNAPSHOT_URL(se você especificou --as) em um aplicativo diferente chamado some-other-app-to-own-forked-database.

Para obter um conjunto aleatório de linhas, você pode usar LIMIT assim:

SELECT * FROM my_table LIMIT 100

Este é o mais fácil e escolherá apenas as 100 primeiras linhas que o PostreSQL encontrou. Pode ser o último 100 inserido ou talvez o primeiro 100. Se você precisar de algo realmente aleatório, veja esta resposta do Stackoverflow .