Solução de armazenamento descentralizada, agregada e seletivamente sincronizada

Originalmente, eu só queria sincronizar alguns arquivos selecionados do meu 1TB OneDrive ao meu Caderno SSD e todos os meus arquivos para o meu HDD externo . Os programas de armazenamento em nuvem (dropbox, gdrive, onedrive, resilio, syncthing ...) parecem não gostar de duas pastas sincronizadas com o mesmo conteúdo no mesmo dispositivo, portanto, é preciso enganá-las com uma máquina virtual ou procurar outra solução.

Eu pensei um pouco mais sobre o solução de armazenamento final (pelo menos para o meu caso de uso) e ficou um pouco mais complicado, mas é uma configuração bastante normal para muitas pessoas hoje em dia:

notebooks com pequenas unidades
smartphones & amp; comprimidos
HDDs externos
(NAS)
(armazenamento na núvem)
Cartão SD (por exemplo, da câmera)

Agregação (drive virtual de todos os dados disponíveis)

Em cada dispositivo de armazenamento, eu quero ter um drive virtual em casa onde todos os meus arquivos de todos os dispositivos são agregados. Os documentos, fotos e vídeos atuais e ativos geralmente estão disponíveis em todos os dispositivos para organização, edição, exclusão, etc. Inchaço antigo, arquivos grandes de vídeo, backups podem residir em um ou dois locais com espaço de armazenamento suficiente (NAS, exHDD) , mas ainda são mostrados na minha unidade inicial e prontamente disponíveis, se a conexão for suficiente. Tal camada de abstração que agrega os dados de vários locais para um único poderia ser realizado com links simbólicos (mklink), mas eu acho que isso exigiria muita sobrecarga de administração.

Sincronização (descentralizada, seletiva)

Em seguida, o fontes de dados diferentes precisam ser sincronizadas (tabela de arquivos sempre, arquivos / pastas seletivamente) assim que dois dispositivos podem se comunicar (SSD & lt; -USB- & gt; exHDD // smartphone & lt; -WiFi- & gt; NAS // exHDD & lt; -USB & Internet & gt; ; cloud). Eu acho que isso poderia ser conseguido com sincronia ou talvez até comece com git (para controle de versão adicionado). Outra opção seria nextcloud ou seafile , mas ambos são abordagens centralizadas, que eu gostaria de evitar. Eu poderia imaginar armazenamento blockchain gostar Sia ou Storj para ser também bom candidato, mas gostaria de ouvir o que a comunidade tem a dizer. Resilio Sync é perfeito para a parte de sincronização descentralizada, mas como é fechado, acho que será difícil combiná-lo com a parte de agregação.

TL; DR

agregar todo o armazenamento disponível (SSD, exHDD, NAS, nuvem, smartphone, ...) para uma pasta virtual (link simbólico, mklink )
sincronizar descentralizado entre locais ( sincronia git

Em outras palavras, eu quero uma pasta de rede com arquivos do Windows offline e capacidades de link lento, mas em uma infra-estrutura de rede descentralizada

Qual é o status quo? Eu supervisionei soluções viáveis? Eu estou pedindo o impossível?

— aXeL-HH
fonte

Eu não acho que exista um status quo. Acho que você encontra e usa um conjunto ou ferramentas que funcionem de acordo com suas necessidades. Eu uso o Resilio Sync, Linux com MDADM, Samba, NFS e sincronização de pastas e ele funciona para fornecer tudo o que você pede. Mas sua configuração e seu conjunto de habilidades são diferentes, então a solução para você pode parecer diferente. Existem muitas maneiras de "esfolar" as coisas, você só precisa encontrar o seu caminho.

— Damon

@ Damon obrigado por me apontar na direção certa. Você tem algum tutorial ou outro recurso que ajudaria na configuração? Você tem esse processo automatizado? E você tem pastas mistas (P: \ folder1 no SSD (mais rápido), NAS e nuvem, P: \ folder2 \ no NAS (mais rápido) e nuvem, P: \ folder3 \ na nuvem, P: \ folder4 \ on exHDD (mais rápido) e NAS) Resilio infelizmente não consegue sincronizar dois locais em um único dispositivo.

— aXeL-HH

As únicas coisas proprietárias que uso são Resilio & amp; Pasta de sincronização, o resto é coisa de baunilha. A sincronização de pastas é agendada e automatizada, o Resilio apenas é executado como um serviço e está sempre "ligado". Não tenho certeza do que você entende por Resilio não pode sincronizar dois locais; Eu tenho que sincronizar todos os tipos de coisas; É claro que eu executo VMs, então tecnicamente eu tenho duas instâncias diferentes do Resilio para conectar, o negócio em casa. Eu correrei Resiio em um VPS em breve para fornecer melhor capacidade de upload. Eu corro barato RAID10 no HDD; somente SSDs para o SO em estações de trabalho.

— Damon

Eu diria desenhar sua infra-estrutura no papel, incluindo os serviços que serão executados onde e apenas preencher com aplicativos e serviços, conforme necessário. Eu não tenho nenhum tutorial. Apenas google cada peça individual. Tudo o que eu uso é "gratuito", embora eu tenha pago pelo Resilio Sync pro e pela sincronização de pastas, mas você não precisa fazê-lo. Demorei anos para implementar, mas comecei com um plano no papel e apenas o atualizei enquanto aprendia coisas novas. Basta começar em algo e ficar com ela!

— Damon

reg. sincronização de 2 pastas locais: O Resilio, o Dropbox, o OneDrive etc. não sincronizam c: \ folder1 e d: \ folder1 (SSD & amp; exHDD ou NAS). Eu entendo, o protocolo deles é ineficiente devido à sobrecarga de comunicação para a sincronização segura da Internet, e a sincronização LAN da caixa de depósito é realmente muito rápida! Mas eu tenho um sentimento muito ruim usando ferramentas diferentes fazendo praticamente a mesma tarefa, esp. sincronização automatizada, pois isso geralmente resulta em caos se não for feito em uma ordem muito precisa. Não vejo os sistemas do usuário como entidades, mas os dispositivos de armazenamento do usuário, que precisam estar em sincronização (seletiva).

— aXeL-HH