Trabalhadores da construção civil encheram minha SAN com poeira mineral e de concreto

Atualização: a EMC retirou nossa garantia e suporte, portanto, este será um caso de seguro. A Dell diz que podemos obter uma agência de limpeza profissional para reformar os servidores e manter nossa garantia. A Cisco diz "talvez". HP ainda está em silêncio :(

Atualização final: a EMC virou e aprovou a limpeza de uma empresa certificada. O VNX foi enviado de volta para nós hoje e funciona muito bem. O restante da sala do servidor também está sendo limpo e nossas perdas são limitadas a algumas unidades de fita. A companhia de seguros paga a conta por quase todo o resto.

A pergunta original:

Aqui está a história ..

Os proprietários do edifício que alugamos o escritório decidiram fazer uma reforma no exterior. Isso envolveu algum trabalho bastante pesado no nível em que nossa sala de servidores está, incluindo a troca de janelas que se encaixam dentro de um muro de concreto.

Meu alerta vermelho disparou quando ouvi dizer que eles fariam a mesma coisa com a nossa sala de servidores (sim, nossa sala de servidores tem uma janela. Somos uma pequena loja com 3 racks. A janela é protegida por barras de aço.) Expliquei explicitamente ao empreiteiro que eles precisam colocar uma parede temporariamente entre nossos racks e a parede original - e para garantir que a parede temporária seja 100% impermeável ao ar e à água. Eles prometeram fazê-lo.

A parede temporária possui uma pequena porta, para que os trabalhadores possam entrar / sair durante o dia (na nossa sala de servidores, que era a única opção ...). Em várias ocasiões, pude encontrar a porta pequena parcialmente fechada enquanto trabalhava à noite. Tranquei a porta e pensei que, com sorte, eles entenderiam o assunto em breve e manteriam a porta fechada. Eu até dei um bocado ao eletricista quando vi que ele não fechava a porta corretamente.

A essa altura, aposto que a maioria de vocês tem uma imagem do que aconteceu. Sim, eles provavelmente deixaram a porta aberta enquanto perfuravam o concreto.

Apresento a você nosso EMC VNX de 4 semanas: Discos VNX Rack VNX

Vou até colocar um pequeno bônus, aqui está o APC UPS, um rack mais longe da parede temporária. Vê a pequena e agradável pista de pouso do meu dedo? UPS

O que devo fazer? A única coisa que vem à mente é ligar para todos os nossos fornecedores (EMC, HP, Dell, Cisco) e levá-los a enviar técnicos para verificar todos os equipamentos na sala do servidor ou obter algum tipo de consultor certificado de terceiros para verificar tudo isso. Você usaria sistemas de produção com esse equipamento? Quão mais?

Devo também observar que nossa climatização não é exatamente de nível empresarial, dada a natureza de nossa pequena sala. É apenas um inversor, que falhou uma vez antes de eu começar a trabalhar aqui (inversores com falha geralmente levam à água pingando).

server-room disaster

— pauska
fonte

infelizmente, eu sei que os sistemas de produção funcionam em condições muito piores (pense em armazéns). Mas não é o ideal por qualquer trecho, especialmente para novos equipamentos. Eu investigaria a obtenção de algum tipo de compensação pela limpeza, pelo menos e talvez pelo inevitável poucos fãs falharem. Depende em grande parte do seu fluxo de ar e do quanto cada unidade de equipamento está atraindo através dele. No mínimo, limpe a sala e, em seguida, os filtros ou entradas de ar do equipamento e fique de olho nas temperaturas e no resfriamento.

— Sirex

Sim - embora não seja uma coisa boa, já vi coisas muito piores e em kits mais críticos e mais caros. Portanto, resolva o problema, mas eu não esperaria uma falha iminente.

— 22411 Dan

Para ruim de ler que a EMC caiu garantia, os outros fabricantes vão fazer o mesmo I aposta ... não tenha medo de trazer um advogado para isso ...

— HTDutchy

Pelo contrário: tenha medo de trazer os advogados para isso. Junte suas evidências. Sim, obtenha aconselhamento profissional. Tivemos um problema sério uma vez, no qual um advogado nos disse que tínhamos danos tangíveis. Acontece que não tínhamos, e depois do processo contra o fornecedor, que perdemos, tivemos um processo contra nosso advogado, que foi atenuado fora do tribunal. Tenha muito cuidado com os danos realmente existentes e quem é o responsável. Se você encontrar um advogado de confiança (haw), ele informará quais esforços o processo requer e quais são suas chances. Se eles dizem que é 100% claro, eles mentem.

— Posipiet

Aqueles pobres bebês!

— precisa

Respostas:

Obtenha todos os técnicos.
Faça-os verificar / limpar todo o equipamento.
Envie a fatura ao planejador de construção.

Realmente, os servidores podem suportar algum nível de poeira, mas isso é demais. Limpamos nossos servidores regularmente durante o tempo de inatividade com um aspirador de pó da 3M . É uma coisa agradável de se ter no escritório.

Mas, por enquanto, comece a limpar. Quanto mais rápido você tirar a poeira, melhor. Tente manter dissipadores de calor e ventiladores livres de poeira. Se um dissipador de calor ou ventilador estiver coberto de poeira, sua capacidade de dissipar o calor é muito pior do que uma unidade limpa.

— Bart De Vos
fonte

Nesse caso, ele deve realmente investigar a contratação de um serviço especializado em limpeza antiestática da sala do servidor.

— erimar77

@ erimar77: Nossa companhia de seguros é nessa rota agora :)

— pauska

Primeiro: Quando a sala do servidor se torna um canteiro de obras, você deve remover todos os servidores, por vários motivos.

quedas de energia
interrupções de refrigeração
acesso (você não sabe quem passa por seus servidores, a que horas)
tensão mecânica devido à construção de máquinas
danos diretos por trabalhadores que esbarram
poeira residual do canteiro de obras, especialmente poeira metálica ou mineral

A única aposta segura é remover seus servidores para uma sala diferente. Isso significa paradas adicionais, mas durante o curso das atividades de construção, você provavelmente terá que fazer a parada mesmo assim.

(lembre-se, a seguir é minha opinião subjetiva) Agora isso aconteceu. Os ventiladores são cobertos com poeira mineral. Isso potencialmente reduz sua vida útil afetando os rolamentos.

Eu não esperaria que os servidores falhassem massivamente, mas esperaria ter uma porcentagem maior de falhas. Em um cliente bastante grande, as quedas de fãs aumentaram após a construção de atividades.

Mas, novamente, eu não me esforçaria muito para limpar os sistemas. Se a limpeza causar danos, provavelmente será maior que uma falha no ventilador. A menos, é claro, que o pó contenha partículas metálicas, que mudam o jogo inteiro.

O que fazer? Limpe a sala, limpe a parte externa dos servidores, reserve algum dinheiro para substituições anteriores no futuro.

O dano provavelmente não é justificável. Provavelmente, a parte do dano que você pode provar provavelmente não vale a pena ser julgada. Você pode tentar obter uma certa quantia de compensação do proprietário, talvez com um pagamento reduzido ou algo assim.

— Posipiet
fonte

O que deveríamos ter feito não é especialmente útil, mas concordo com os pontos que você listou. O culpado é que ainda não sei se existem vestígios metálicos na poeira. O outro perigo potencial aqui é a falha do ar-condicionado, que pode levar a um ar úmido - o que não é bom combinado com poeira de concreto e / ou mineral.

— pauska

Como o site é lido por muitas outras pessoas, algumas das quais podem ter obras se aproximando, o que você deveria ter feito é informações bastante úteis, realmente um pouco tarde para você pessoalmente.

— Sirex

Isso é verdade. Desculpe por estar um pouco feliz, meu humor está abaixo da média agora.

— pauska

Eu tenho que concordar com isso. Estávamos instalando novos ladrilhos de teto suspenso e, durante o processo, os trabalhadores cobriram as prateleiras dos servidores com folhas de plástico. Felizmente, eu estava lá e os avisos térmicos geraram um alerta por e-mail, mas sem isso, seria um brinde. Depois que os servidores são contaminados por material particulado, é muito difícil reverter e os efeitos colaterais podem durar muito tempo e resultar em problemas muito esquivos.

— Greg Askew