A inteligência artificial é vulnerável a hackers?

27

O artigo As limitações do aprendizado profundo em configurações adversas explora como as redes neurais podem ser corrompidas por um invasor que pode manipular o conjunto de dados com o qual a rede neural treina. Os autores experimentam uma rede neural destinada a ler dígitos manuscritos, prejudicando sua capacidade de leitura distorcendo as amostras de dígitos manuscritos com os quais a rede neural é treinada.

Estou preocupado que atores mal-intencionados possam tentar invadir a IA. Por exemplo

Enganar veículos autônomos para interpretar mal os sinais de parada versus o limite de velocidade.
Ignorando o reconhecimento facial, como os do caixa eletrônico.
Ignorando filtros de spam.
Análise de sentimentos enganadores de resenhas de filmes, hotéis etc.
Ignorando mecanismos de detecção de anomalias.
Comandos de voz falsos.
Classificar com precisão previsões médicas baseadas em aprendizado de máquina.

Que efeito adversário poderia atrapalhar o mundo? Como podemos evitá-lo?

— Surya Sg
fonte

6

Considere que humano inteligência é vulnerável a hackers

— Gaius

Interessante. Você está interessado em "modelos de risco de ambientes contraditórios" ou em algo mais próximo de uma resposta tradicional de segurança cibernética, mas ainda diretamente sobre a IA? Muitas felicidades.

— Revelações tautológicas

19

A IA é vulnerável de duas perspectivas de segurança da maneira que eu a vejo:

O método clássico de explorar erros programáticos definitivos para obter algum tipo de execução de código na máquina que está executando o AI ou para extrair dados.
Truques através do equivalente a ilusões ópticas de IA para a forma específica de dados com a qual o sistema foi projetado para lidar.

O primeiro deve ser mitigado da mesma maneira que qualquer outro software. Não tenho certeza se a IA é mais vulnerável nessa frente do que em outros softwares, eu estaria inclinado a pensar que a complexidade talvez aumente levemente o risco.

A segunda é provavelmente melhor atenuada pelo refinamento cuidadoso do sistema, conforme observado em algumas das outras respostas, mas também por tornar o sistema mais sensível ao contexto; muitas técnicas contraditórias dependem da contribuição sendo avaliada no vácuo.

— Christopher Griffith
fonte

11

The split between code vulnerabilities and usage vulnerabilities is good. However, the code vulnerabilities typically are minuscule in AI. The complexity of AI lies in the data, whether that's node weights in a neural network or trees in a random forest. There's just a small bit of code to feed the AI, and the chief risk there is not overfeeding it - a classic buffer overflow risk, easily mitigated by late 20th century techniques.

— MSalters

@MSalters Eu acho que é difícil tirar uma conclusão geral porque a complexidade do código pode variar muito entre diferentes tipos de agentes de IA (acho que seu comentário é amplamente preciso para redes neurais). Além disso, embora os dados e a manipulação deles sejam provavelmente a maior superfície de ataque, seria imprudente descontar o mesmo tipo de ataques que permitiram a execução remota de código por meio de arquivos de imagem comprometidos no passado que exploravam falhas nos aplicativos de visualização de imagens. O vetor é o dado que está sendo transmitido, mas o comportamento ainda está no cabeçalho do código vulnerável, eu acho.

— Christopher Griffith

7

Programmer vs Programmer

É uma "guerra do infinito": programadores versus programadores. Tudo pode ser hackável. A prevenção está ligada ao nível de conhecimento do profissional encarregado da segurança e dos programadores em segurança de aplicativos.

por exemplo, existem várias maneiras de identificar um usuário que está tentando atrapalhar as métricas geradas pela análise de sentimentos, mas há maneiras de contornar essas etapas também. É uma luta muito chata.

Agent vs Agent

Um ponto interessante que o @DukeZhou levantou é a evolução desta guerra, envolvendo duas inteligência artificial (agentes). Nesse caso, a batalha é uma das mais experientes. Qual é o modelo mais bem treinado, você sabe?

No entanto, para alcançar a perfeição na questão da vulnerabilidade, a inteligência artificial ou a super inteligência artificial superam a capacidade de contornar o humano. É como se o conhecimento de todos os hacks até hoje já existisse na mente desse agente e ele começou a desenvolver novas maneiras de burlar seu próprio sistema e desenvolver proteção. Complexo, certo?

Eu acredito que é difícil ter uma IA que pense: "O humano vai usar uma foto em vez de colocar seu rosto para ser identificado?"

Como podemos evitá-lo

Sempre ter um humano supervisionando a máquina, e ainda assim não será 100% eficaz. Isso desconsiderando a possibilidade de um agente poder melhorar seu próprio modelo sozinho.

Conclusão

Então, acho que o cenário funciona da seguinte maneira: um programador tenta contornar as validações de uma IA e o desenvolvedor de IA que adquire conhecimento através de logs e testes tenta criar um modelo mais inteligente e seguro, tentando reduzir as chances de falha.

— Guilherme IA
fonte

3

Ótima resposta. (imo, deve ser a resposta aceita, mas você precisa fornecer algum suporte ou links.) independentemente, sua lógica está correta, embora eu ache que isso comece a se estender além do Programador vs. Programador para Agente vs. Agente, à medida que os novos algoritmos aumentam. sofisticação e empreenda essas estratégias sem necessidade humana.

— DukeZhou

11

Atualizada! Bom ponto @DukeZhou

— Guilherme IA

6

Como podemos evitar isso?

Existem vários trabalhos sobre verificação de IA. Os verificadores automáticos podem provar as propriedades de robustez das redes neurais. Isso significa que se a entrada X do NN não é perturbada mais do que em um determinado limite ε (em alguma métrica, por exemplo, L2), o NN dá a mesma resposta.

Esses verificadores são feitos por:

Stanford: https://arxiv.org/pdf/1702.01135.pdf
ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
Bosch: https://arxiv.org/pdf/1805.10265.pdf

Essa abordagem pode ajudar a verificar as propriedades de robustez das redes neurais. O próximo passo é construir uma rede neural que requeira robustez. Alguns dos documentos acima contêm também métodos de como fazer isso.

Existem diferentes técnicas para melhorar a robustez das redes neurais:

treinamento antagônico (ver, por exemplo, A. Kurakin et al., ICLR 2017 )
destilação defensiva (ver, por exemplo, N. Papernot et al., SSP 2016 )
Defesa MMSTV ( Maudry et al., ICLR 2018 ).

Pelo menos o último pode comprovadamente tornar o NN mais robusto. Mais literatura pode ser encontrada aqui .

— Ilya Palachev
fonte

2

Isso soa como uma reivindicação impossível ... a menos que se trate de algumas entradas particulares X, em vez de entradas gerais X? Nesse caso, parece não dizer quase nada sobre hackers, já que as entradas não precisam se limitar às perturbações das pessoas no treinamento?

— Mehrdad

11

@ Mehrdad: Provavelmente é possível em um sentido probabilístico se o espaço de entrada estiver suficientemente estruturado para que você possa amostrá-lo aleatoriamente. Ou seja, você provavelmente pode estabelecer que, para 95% das entradas possíveis, 95% das perturbações menores que ε não afetam o rótulo da classe. Isso é equivalente ao estabelecimento de que a borda entre as classes de saída no espaço de entrada é suave ou que a maior parte do espaço de entrada não fica perto de uma borda de classe. Obviamente, parte do espaço de entrada deve estar perto de uma borda de classe.

— MSalters

Não tenho certeza se isso se aplicaria no caso "contraditório" descrito no artigo: Lá, (IIRC), um gradiente propagado de volta é adicionado a toda a imagem, de modo que a alteração na entrada completa pode ser bastante grande - mesmo se a alteração para cada pixel individual é quase imperceptível.

— Niki

@MSalters: Eu acho que sim. Mas, então, que parece desvalorizar um pouco justo a menos que você pode realmente mostrar as fotos que estão em uma borda classe deve realmente estar em uma beira classe ...

— Mehrdad

A frase "O próximo passo é construir uma rede neural que exigiu robustez" está sendo pesquisada. Em geral, é muito difícil se livrar do problema de não robustez da NN. Mas é possível aumentar a robustez por treinamento adversário (ver, por exemplo, A. Kurakin et al., ICLR 2017 ), destilação defensiva (ver, por exemplo, N. Papernot et al., SSP 2016 ), defesa MMSTV ( Maudry et al., ICLR 2018 ) Pelo menos o último pode comprovadamente tornar o NN mais robusto.

— Ilya Palachev

4

Acredito que sim, nenhum sistema é seguro, mas não tenho certeza se ainda posso dizer isso depois de 20 a 30 anos de desenvolvimento / evolução da IA. De qualquer forma, existem artigos que mostram humanos enganando a IA (visão computacional).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

— Akio
fonte

4

A inteligência artificial é vulnerável a hackers?

Inverta sua pergunta por um momento e pense:

O que tornaria a IA menos vulnerável a hackers em comparação com qualquer outro tipo de software?

No final do dia, software é software e sempre haverá bugs e problemas de segurança. As IAs estão em risco para todos os problemas que os softwares que não são de IA estão em risco, sendo que a AI não concede algum tipo de imunidade.

Quanto à adulteração específica da IA, a AI corre o risco de receber informações falsas. Diferentemente da maioria dos programas, a funcionalidade da IA é determinada pelos dados que consome.

Para um exemplo do mundo real, há alguns anos a Microsoft criou um chatbot de IA chamado Tay. O povo do Twitter levou menos de 24 horas para ensiná-lo a dizer "Vamos construir um muro, e o México vai pagar por isso":

(Imagem retirada do artigo da Verge no link abaixo, não reivindico crédito por isso.)

E isso é apenas a ponta do iceberg.

Alguns artigos sobre Tay:

Agora imagine que não era um robô de bate-papo, imagine que era uma peça importante da IA de um futuro em que a IA é responsável por coisas como não matar os ocupantes de um carro (ou seja, um carro autônomo) ou não matar um paciente a mesa cirúrgica (ou seja, algum tipo de equipamento de assistência médica).

Concedido, seria de esperar que essas IAs estivessem mais protegidas contra essas ameaças, mas supondo que alguém encontrasse uma maneira de alimentar uma quantidade tão grande de informações falsas, sem ser notado (afinal, os melhores hackers não deixam rastro), o que realmente poderia significar a diferença entre vida e morte.

Usando o exemplo de um carro autônomo, imagine se dados falsos poderiam fazer com que o carro pensasse que era necessário fazer uma parada de emergência quando estava em uma rodovia. Uma das aplicações para a IA médica é a decisão de vida ou morte no pronto-socorro, imagine se um hacker pudesse mudar a balança em favor da decisão errada.

Como podemos evitar isso?

Em última análise, a escala do risco depende de quão humanos dependentes se tornam na IA. Por exemplo, se os humanos aceitassem o julgamento de uma IA e nunca o questionassem, estariam se abrindo a todo tipo de manipulação. No entanto, se eles usarem a análise da IA como apenas uma parte do quebra-cabeça, seria mais fácil identificar quando uma IA está errada, seja por meios acidentais ou maliciosos.

No caso de um tomador de decisões médicas, não basta acreditar na IA, realizar testes físicos e obter algumas opiniões humanas também. Se dois médicos discordarem da IA, descarte o diagnóstico da IA.

No caso de um carro, uma possibilidade é ter vários sistemas redundantes que devem essencialmente "votar" sobre o que fazer. Se um carro tivesse várias IAs em sistemas separados que precisassem votar sobre qual ação tomar, um hacker precisaria executar mais do que apenas uma AI para obter o controle ou causar um impasse. É importante ressaltar que, se as IAs funcionassem em sistemas diferentes, a mesma exploração usada em um não poderia ser feita em outro, aumentando ainda mais a carga de trabalho do hacker.

— Pharap
fonte

11

Eu gosto da ideia de ter vários sistemas de IA separados que precisam chegar a um acordo como uma técnica de mitigação. Embora você tivesse que ter certeza de que qualquer mecanismo de votação que eles usassem não pudesse ser composto para falsificar uma decisão.

— Christopher Griffith

@ChristopherGriffith True, isso é um risco. No caso do carro, a melhor maneira de atenuar isso é projetar o sistema para que um invasor precise de acesso físico para manipulá-lo e dificultar o acesso, para que a pessoa precise entrar no carro para acessá-lo. Manter um sistema offline geralmente é uma boa medida defensiva para hackers, embora nem sempre seja o ideal.

— Pharap

1

Concordo com o Akio que nenhum sistema é completamente seguro, mas a vantagem é que os sistemas de IA são menos propensos a ataques quando comparados com os sistemas antigos, devido à capacidade de melhorar constantemente.

Com o passar do tempo, mais pessoas entrarão em campo, trazendo novas idéias e o hardware estará melhorando, para que sejam "IA forte".