Como verificar taxas de erro extremamente baixas

Sou confrontado com a tentativa de demonstrar através do teste de uma taxa de erro extremamente baixa para um sensor (não mais que 1 erro em 1.000.000 de tentativas). Como temos um tempo limitado para realizar o experimento, prevemos não conseguir mais de 4.000 tentativas. Não vejo problema em mostrar que o sensor não atende ao requisito, pois mesmo um erro em 4.000 tentativas produzirá um intervalo de confiança de 95% para a taxa de erro com um limite inferior maior que 0,000001. Mostrar que ele atende ao requisito, no entanto, é o problema, pois mesmo 0 erros em 4.000 tentativas ainda resultam em um limite inferior maior que 0.000001. Todas as sugestões serão muito apreciadas.

Esse é um problema comum, especialmente com componentes ou sistemas modernos que podem ter taxas de falha tão baixas quanto . Para resolvê-lo, você precisa fazer suposições, criar modelos e / ou incorporar outras formas de dados.$10^{-9}$

Lee Cadwallader, do INL , escreve :

Quando não existem dados de experiência operacional para um componente, como um componente na fase de design, o analista tem várias opções:

• Decomposição - desconstruindo um componente em suas partes constituintes e depois atribuindo taxas de falha do manual às partes. Se o analista estiver confiante na precisão dos dados da peça, essa técnica é tediosa, mas útil; se os dados das peças não forem precisos, outras técnicas devem ser usadas.

• Opinião do analista - pode exigir estimativa reversa com base em um requisito de disponibilidade do sistema ou simplesmente julgamento da engenharia das taxas de falha genéricas para essa classe de componente.

• Opinião de especialistas - obtendo opiniões qualitativas de especialistas no assunto e combinando-as para desenvolver uma taxa de falhas de ordem de magnitude.

• Técnicas específicas de componentes - por exemplo, o método Thomas para tubulação.

A decomposição é freqüentemente usada para peças eletrônicas, como evidenciado por manuais de taxas de falha de componentes .

Outras fontes sugerem que os dados ou a experiência do setor podem ser usados ​​para informar ou substituir dados de teste.

Outras técnicas discutidas no Weibull.com incluem

Para avaliar o tempo de desgaste de um componente, testes a longo prazo podem ser necessários. Em alguns casos, um ciclo de trabalho de 100% (rodar pneus em um simulador de desgaste da estrada 24 horas por dia) pode fornecer testes de vida útil úteis em meses. Em outros casos, o uso real do produto pode ser 24 horas por dia e não há como acelerar o ciclo de trabalho. Estresses físicos de alto nível podem precisar ser aplicados para reduzir o tempo de teste. Essa é uma técnica emergente de avaliação de confiabilidade denominada QALT (Quantitative Accelerated Life Testing) que requer consideração da física e engenharia dos materiais que estão sendo testados.

Em uma nota de advertência, parece haver um paralelo próximo entre esse problema e o de estimar outros eventos raros, como ataques de asteróides e falhas catastróficas no sistema financeiro - os "cisnes negros" de Taleb . . As últimas taxas foram notoriamente subestimadas.

Não há como provar uma taxa de erro <1 / 1.000.000 com apenas 4.000 tentativas. Você precisa, de alguma forma, selecionar erros (executando mais tentativas em paralelo e apenas observando casos que resultam em um erro) ou aplicar algum tipo de estresse que aumentaria a chance de um erro e, em seguida, extrapolar de condições estressadas para condições normais.

É o que os geneticistas fariam, de qualquer maneira ...

De um modo geral, você não pode. Eu ficaria muito cauteloso com técnicas que afirmam ser capazes de provar uma taxa de erro de 1/10 em apenas testes. Freqüentemente, esse tipo de técnica envolve algum lugar assumindo a independência, que não há como validar com segurança: é apenas um salto de fé. Esses tipos de raciocínio falho levaram a falhas graves no mundo dos sistemas críticos de segurança.$1/10^6$$4000$

Pode haver alguns casos especiais em que você pode demonstrar o nível desejado de confiabilidade usando um número tão limitado de testes, por exemplo, levando em consideração algo sobre a física da situação. Mas eles são raros, e esse tipo de raciocínio é frágil.