Como construir uma rede local rápida

Eu trabalho na produção de filmes e preciso de acesso MUITO rápido a arquivos muito grandes de material bruto. Eu estou atualmente usando docas eSATA 6Gbps para discos rígidos internos, que vão tão rápido quanto a unidade vai.

Se eu fosse usar um servidor e conectar-me às minhas estações de trabalho via rede, que tecnologia (relativamente acessível) me permitiria chegar perto ou exceder a velocidade da unidade?

Aqui no início de 2017, a julgar pelas informações prontamente disponíveis on-line, parece que os HDDs SATA mais rápidos atingem o máximo de cerca de 220 MegaBytes / s, o que corresponde a 1.760 Gigabits / s.

Então, se você está apenas tentando superar a velocidade de uma única unidade, e você está limitado a HDDs por considerações de custo por terabyte para enormes arquivos de vídeo, então 10 Gigabit Ethernet é suficiente.

Como um aparte, note que o Thunderbolt Networking é de 10 Gigabit / seg também, então se você já tem portas Thunderbolt, você pode experimentar isso. Ele pode conseguir bater suas portas de 6 Gigabit eSATA 3, embora eu não tenha certeza sobre isso, porque eSATA é muito específico de armazenamento, enquanto que fazer armazenamento sobre Ethernet tem mais sobrecarga. Observe também que o Thunderbolt é um barramento de desktop; ele atinge apenas alguns metros, não os 100m que 10 Gigabit Ethernet podem suportar. Então, embora Thunderbolt possa ser interessante para experimentar e criar protótipos enquanto você pesa suas opções, provavelmente não é a solução certa a longo prazo para você, a menos que você queira manter todas as suas estações de trabalho e discos conectados em uma grande mesa.

Então, isso foi para HDDs individuais. Mas se você unir essas unidades para que cada leitura ou gravação se espalhe por várias unidades, você poderá obter um desempenho muito melhor do que o desempenho de uma única unidade. Além disso, dependendo do seu orçamento, você pode colocar SSDs NVME PCIe / M.2 em um PC para atuar como servidor / NAS e obter um desempenho de armazenamento extremamente rápido (cerca de 3,4 GigaByte / s = 27 gigabits / s) por dirigir.

Nesse caso, você pode querer olhar para algo mais rápido do que 10 Gigabit Ethernet, mas olhando em volta, parece que os preços saltam dramaticamente além de 10 Gigabit Ethernet. Então, você pode querer fazer uma agregação de links em vários links de 10Gigabit. Eu também vi algumas anedotas on-line que usavam equipamentos de rede, como o usado 40Gbps InfiniBand coisas, pode ser comprado no eBay por muito barato, se você não se importa com os aborrecimentos que vêm com a compra de equipamentos usados ​​no eBay.

Se você mantiver os discos SATA, a implementação da Ethernet de 10 Gb e a criação de um RAID10 de tamanho razoável no servidor resultará em um aumento de desempenho notável além do de um único disco SATA. Esse será um investimento valioso, pois você pode compartilhar o servidor entre tantas estações de trabalho quantas forem necessárias e adicionar no futuro adicionando switches. Você precisará executar o cabo ethernet Cat-6, já que o Cat-5E não o cortará - não se esqueça de adicionar essa despesa aos seus cálculos. Você também pode adicionar SSDs como cache para acelerar ainda mais o sistema; já que você está trabalhando com imagens de vídeo, eu suponho que você precisa de grandes quantidades de espaço de armazenamento, o que seria extremamente caro para construir puramente com SSDs.

Você pode comprar um servidor de montagem em rack pré-fabricado da Dell ou da HP e usar a placa RAID de hardware ou, se for mais uma pessoa de hardware, comprar um chassi mais barato da Supermicro e construir a máquina de armazenamento usando RAID de software Windows ou Linux. O RAID por hardware geralmente é mais rápido quando um RAID1 está envolvido, uma vez que o software deve gravar em cada disco e esperar que a gravação seja concluída antes de passar para a próxima operação; uma placa RAID geralmente pode gravar em ambos os discos em paralelo e armazenar em cache a operação de gravação, retornando o controle para o sistema operacional imediatamente. Observe, no entanto, que, embora um RAID0 seja ainda mais rápido, você não terá redundância e uma única falha na unidade causará perda total de dados; nunca use um RAID0 quando tiver dados que você deseja manter. Eu recomendo entrar em contato com a Dell ou a HP ou outro grande nome para ver se eles podem ajudá-lo a especificar um sistema para atender às suas necessidades.

Na extremidade superior da escala, você tem Redes de Área de Armazenamento (SANs), mas elas são projetadas para permitir muitas operações de um grande número de clientes separados em paralelo; Um benefício disso é que o throughput é muito alto para um pequeno número de máquinas conectadas, mas é provavelmente um exagero para suas necessidades e muito caro. Na extremidade inferior, você tem dispositivos Network Attached Storage (NAS) que outros mencionaram, mas embora seja muito mais simples que um servidor completo, eu não os recomendo, pois um NAS é freqüentemente uma caixa preta; eles são projetados para serem plug & amp; jogar para a maioria dos usuários e, como resultado, você tem pouco controle sobre o sistema operacional - acabei de mandar de volta um pequeno NAS que comprei para o escritório de um cliente, pois ele se tornou instável após um dia de uso.

Outra vantagem de construir um servidor é que você está concentrando todas as suas filmagens em um só lugar, o que torna prático e relativamente fácil fazer o backup regularmente. Nunca negligencie sua estratégia de backup; um dia você precisará depender disso!

Nada supera a flexibilidade e a facilidade de configuração da 10gbe, mas a SAS é surpreendentemente conectável em rede por conta própria:

Para um pequeno número de estações de trabalho (n & lt; 8) em que os volumes não precisam ser graváveis ​​em vários computadores ao mesmo tempo, o SAS funciona muito bem. Com um Tyan JBOD (US $ 1.500) e um LSI HBA (US $ 400), obtemos 3.400 MB / s (27 Gbps) de transferências sustentadas para SSD. O JBOD possui um comutador interno com 3 uplinks para HBA, mas os comutadores SAS estão disponíveis para contagens de portas mais altas.

Aqui está um teste de velocidade de um dos nossos volumes:

Internamente, usamos essa solução com Windows Server clusterizado executando espaços de armazenamento que são distribuídos para clientes com 10gb.

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Produtos

Primeiro, M.2 SSD que deu a placa-mãe correta pode chegar a 2gb-4gb / s, e possivelmente maior. RAID alguns destes juntos, e suas velocidades são ainda maiores.

O uso de várias placas de rede de 10 gb pode aproximar você das velocidades nativas.

Qualquer coisa mais que 10g é muito mais dinheiro.

40 NIC gigabit https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96roOllcRkp7j-VoubG_n7xb0_pgaAnaT8P8HAQ

Use uma placa de fibra ethernet com um switch de fibra, idealmente multimodo ou modo único com pads. Se você tem o orçamento que você pode fazer a coisa toda 10gbps, se você usar a agregação de link com uma placa de fibra de porta dupla, você pode obter 20gbps. Como o termo "relativamente acessível" muda dependendo de qual é o seu orçamento, números reais sobre o que você está disposto a gastar seriam úteis.

A maneira mais barata seria usar a agregação de link (o IE executa N cabos, normalmente 2) em vez de um.

Dessa forma, um link barato de 1 Gb para a sujeira se tornará um link de 2 Gb.

Obviamente, isso significa que você precisa de pelo menos 4 portas para um único servidor cliente.