Quais são os pré-requisitos matemáticos para um pesquisador de IA?

Quais são os pré-requisitos matemáticos para entender a parte principal dos algoritmos em inteligência artificial e desenvolver o próprio algoritmo?

Por favor, consulte-me os livros específicos.

Fundação da boa matemática

Comece assegurando total competência com álgebra intermediária e algumas outras bases de cálculo e matemática discreta, incluindo a terminologia e os conceitos básicos desses tópicos.

• Série infinita
• Provas lógicas
• Álgebra linear e matrizes
• Geometria analítica, especialmente a distinção entre extremos locais e globais (mínimos e máximos), pontos de sela e pontos de inflexão
• Teoria de conjuntos
• Probabilidade
• Estatisticas

Fundamentos da Cibernética

Norbert Wiener, Cybernetics, 1948, MIT Press, contém séries temporais e conceitos de feedback com clareza e comando não vistos em trabalhos subseqüentes; Ele também contém uma introdução à teoria da informação, começando com a fórmula do log _{2 de} Shannon para definir a quantidade de informações em um pouco. Isso é importante para entender a expansão do conceito de entropia de informações.

Cálculo

Encontre um bom livro de cálculo e verifique se você tem clareza sobre a teoria e a aplicação-chave nessas categorias.

• Séries temporais
• Série infinita
• Convergência - As redes artificiais convergem idealmente para um ótimo durante o aprendizado.
• Diferenciais parciais
• Matrizes jacobianas e hessianas
• Matemática multivariada
• Regiões de fronteira
• Matemática discreta

Muito disso está em Calculus , Strang, MIT, Wellesley-Cambridge Press . Embora o PDF esteja disponível na Web, é básico e não particularmente profundo. O da biblioteca de nosso laboratório é Cálculo Intermediário , Hurley, Holt Rinehart & Winston, 1980 . É abrangente e, de certa forma, melhor definido do que o que tenho na minha biblioteca, que Princeton usa para o segundo ano.

Verifique se você está confortável trabalhando em espaços além de ℝ ² (além de 2D). Por exemplo, as RNNs geralmente estão em espaços como thor ⁴ thorugh because ⁷ por causa das dimensões horizontal, vertical, profundidade de pixel e quadro do filme.

Matemática Finita

É lamentável que nenhuma combinação de três livros em que eu possa pensar tenha todos esses.

• Gráficos direcionados - Aprenda isso ANTES de árvores ou circuitos (redes artificiais) porque é a topografia superconjunto de todas essas configurações
• Árvores de símbolo abstrato (ASTs)
• Teoria avançada dos conjuntos
• Árvores de decisão
• Cadeias de Markov
• Teoria do caos (especialmente a diferença entre aleatório e pseudo-aleatório)
• Teoria dos Jogos começando com Von Neumann e Morgenstern Teoria dos Jogos , o trabalho seminal nesse campo
• Convergência em sistemas discretos, especialmente a aplicação da teoria à saturação de sinal na aritmética de número inteiro, ponto fixo ou ponto flutuante
• Meios estatísticos, desvios, correlação e os conceitos mais progressivos de entropia, entropia relativa e entropia cruzada
• Ajuste de curva
• Convolução
• Probabilidade, especialmente o Teorema de Bayes
• Teoria algorítmica (teoremas da incerteza de Gödel e completude de Turing)

Química e Neurologia

É bom lembrar os equilíbrios químicos da química do ensino médio. O Balance desempenha um papel fundamental nos designs de IA mais sofisticados. Compreender a relação simbiótica entre modelos generativos e discriminativos em GANs ajudará o aluno a aprofundar esse entendimento.

As funções de controle dentro dos sistemas biológicos continuam sendo uma fonte primária de provas de conceito na pesquisa em inteligência artificial. À medida que os pesquisadores se tornam mais criativos ao imaginar formas de adaptação que não imitam diretamente algum aspecto da biologia (ainda distante deste texto), a criatividade pode ter um papel maior na formulação dos objetivos de pesquisa da IA.

Mesmo assim, a IA provavelmente continuará sendo um campo amplamente interdisciplinar.

Trabalho como professor e recentemente projetei os requisitos de matemática para um novo curso de IA, em consulta com muitos de meus colegas de outras instituições.

As outras respostas, principalmente as do FauChrisian, fazem um bom trabalho em catalogar todos os tópicos específicos que podem ser úteis em algum lugar da IA, mas nem todos são igualmente úteis para entender os tópicos principais. Em outros casos, entender o tópico é essencialmente o mesmo que entender os algoritmos de IA relacionados; portanto, geralmente apenas os ensinamos juntos, em vez de assumirmos o pré-requisito. Por exemplo, os processos de decisão de Markov não são difíceis de ensinar para alguém que já conhece o básico da teoria e das probabilidades dos grafos; portanto, geralmente os cobrimos apenas quando ensinamos aprendizado por reforço em um curso de IA, em vez de um tópico separado em matemática. curso.

Os requisitos de matemática em que estabelecemos se parecem com:

• Um curso de um ou dois semestres em matemática discreta. Isso é tanto para estabelecer conforto com provas e rigor matemático quanto com qualquer tópico específico na área. Na maioria das vezes, é apenas um conhecimento "fundamental", mas partes dele acabam sendo muito úteis. Conforto com somas infinitas, os conceitos básicos de gráficos, combinatória e análise assintótica são talvez as partes mais diretamente aplicáveis. Eu gosto do livro de Susanna Epp .

  • Um curso de um ou dois semestres em álgebra linear, que é útil em uma ampla variedade de tópicos em IA, especialmente aprendizado de máquina e mineração de dados. Lay & Lay é um livro bom, mas provavelmente não é o melhor. Shilov é uma recomendação de Ian Goodfellow e de outros, mas ainda não tentei.

  • Um curso de probabilidade e, possivelmente, um curso moderno de estatística (ou seja, com foco bayesiano). Um curso mais antigo de estatística, ou um direcionado a cientistas sociais, não é muito útil. Meus colegas estatísticos estão usando o Lock5 agora e tendo boas experiências com ele.

  • Pelo menos cálculo diferencial e integral, e preferencialmente pelo menos derivadas parciais no cálculo vetorial, mas talvez o curso todo. Isso é útil em otimização, aprendizado de máquina e abordagens baseadas em economia para a IA. Stewart é o livro mais comum. É abrangente e pode ser usado nos três cursos, mas as explicações nem sempre são as melhores. Eu ainda recomendo.

Esses são os tópicos principais. Se você também não possui um conhecimento tradicional em programação, um curso de teoria de grafos e os conceitos básicos de complexidade assintótica ou projeto e análise de algoritmos pode ser um bom complemento. Normalmente, os AI's vêm de um background padrão em ciência da computação, que cobre todas essas coisas muito bem.

No que diz respeito a algoritmos simples como o Gradient Descent, você precisa ter uma boa noção de derivadas parciais. Especialmente se você deseja implementar redes neurais. Além disso, a maioria dos algoritmos é vetorizada para melhorar a velocidade da computação e, portanto, você precisa se sentir confortável com a matemática da matriz. Isso envolve ser realmente rápido e confortável com dimensões de matrizes, dimensões de produtos, multiplicação de matrizes, transposição e assim por diante. Muito raramente, você pode usar o cálculo de matriz para chegar diretamente a soluções ideais, portanto, alguns resultados dessa área devem ser obtidos. Seguindo em frente, você precisa entender algumas análises de funções. isso é necessário para ter uma intuição sobre o que as funções de ativação como sigmoid e tanh, log estão fazendo. Uma compreensão de probabilidade e expectativas também é realmente útil. Você também deve ser claro com vetores ortogonais e produtos internos.

Dito isto, sugiro que você compreenda operações básicas de cálculo e matriz e tente aprender conceitos de IA. Se você não conseguir descobrir algo, explore a matemática.

Nota: novamente, isto é apenas para iniciar.