Posso usar o rsync para fazer backup no Amazon S3

17

Eu comprei algum espaço no evbackup que me fornece FTP, rsync e SSH. Mas também li que o Amazon S3 também pode ser usado para backups.

Então, estou realmente confuso de que a Amazon dê acesso ao FTP para fazer upload de arquivos para backup.

Como posso baixar esses arquivos.

Li o site muitas vezes, mas não conseguia entender como o sistema funciona. Eu só quero fazer backup do diretório inicial do meu usuário

backup ftp amazon-s3

— Miragem
fonte

24

Não, você não pode usar rsyncpara transferir arquivos para a Amazon. Ele usa seu próprio protocolo para o serviço. Mas você pode acessar o armazenamento deles através de serviços de terceiros, como www.s3rsync.com , e poderá usá-lo rsync, e seus dados serão finalmente transferidos para o armazenamento S3.

Ou você pode usar utilitários especiais projetados para armazenamento S3. Existem: s3sync , s3command , s3cp , tarsnap (o tarsnap é um serviço de terceiros, como o s3rsync).

Outra ferramenta semelhante ao rsync duplicity, suporta o armazenamento S3 como back-end, bem como muitos outros back-ends de backup, incluindo o RackSpace Cloud Files (outro serviço de armazenamento em nuvem, com preço semelhante ao Amazon S3).

Backup para S3:

duplicity /home/me s3+http://bucketname/prefix

ou para os arquivos em nuvem da Rackspace:

duplicity /home/me cf+http://container_name

— sastanina
fonte

obrigado por isso, também eu não conseguia entender o seu modelo de dados. eu estava verificando seus preços e eles sempre declaram a largura de banda. como 0,18 cêntimos por GB de transferência de dados. Suponha que eu faça upload de dados de 50 GB para backup e é só isso. Então, quanto eles cobram se eu não fizer transferência? eu não poderia encontrar em qualquer lugar que eles Staate quanto espaço eles dão como 50 $ para o disco rígido de 50GB

— Mirage

@Moorage: a Amazon cobra tanto pelo armazenamento (de US $ 0,14 / GB por mês) quanto pela transferência (US $ 0,1 / GB para transferência). Portanto, por 50 GB, você paga US $ 7 / mês se não acessar esses dados. Há também arquivos em nuvem do RackSpace, que é um serviço semelhante.

— sastanin

duplicidade parece muito bom. Eu gostaria de ter visto isso antes de escrever meu próprio clone rsync. Se a duplicidade é um pouco demasiado elaborar para você, confira o meu simples "rsync-like" wrapper para boto: github.com/seedifferently/boto_rsync

— Seth

11

PS: Eu nunca usei duplicidade, mas um de meus amigos relatou backups quebrados. Use com cuidado.

— 27412 sastanin

Você também pode experimentar o minio client [ github.com/minio/mc ], também conhecido como mc. Você pode usar o comando [mc mirror] para espelhar sua pasta local com o bucket S3.

— user52692

5

A interface de linha de comando oficial da Amazon funcionou bem para mim. Ele pode sincronizar do local para um bucket S3 e também sincronizar de um bucket S3 para os arquivos locais.

1) instale a interface de linha de comando da Amazon, em https://aws.amazon.com/cli/

2) de uma concha,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Opções mais úteis como --dryrun e --delete (para espelhar) listadas em http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

— jmnben
fonte

4

Você pode simplesmente montar seu bucket localmente usando s3fs e, em seguida, usar o rsync para copiar para esse ponto de montagem.

— GJ.
fonte

2

Isso parece divertido, mas certamente seria uma leitura local para comparar os hashes, o que anula o objetivo do rsync ... Não?

— David Fraser

0

O Jungle Disk é uma maneira fácil de fazer backup de arquivos no Amazon S3 (assinatura incluindo a conta S3, mas você pode usar qualquer outra conta da AWS). Você também pode querer dar uma olhada no Super Flexível (somente software).

— paradroid
fonte