Machine Learning vs identificação do sistema?

Alguém poderia me explicar as diferenças e semelhanças entre aprendizado de máquina e identificação de sistemas? Estes são apenas dois nomes da mesma coisa? Em desta página , eles dizem:

As comunidades de aprendizado de máquina e identificação de sistemas enfrentam problemas semelhantes, nos quais é necessário construir um modelo a partir de observações limitadas ou barulhentas.

Também li os primeiros capítulos do famoso livro Pattern Recognition and Machine Learning de Christopher M. Bishop. Até agora, minha conclusão é que o problema que a identificação do sistema está tentando resolver é um subconjunto do que o aprendizado de máquina está tentando resolver.

A identificação do sistema é a ciência da construção de modelos dinâmicos a partir dos dados observados. Existem duas abordagens principais: identificação de erro de previsão (PEI) e identificação de subespaço (SID). Ambos estão entregando o chamado modelo paramétrico, ou seja, um modelo de estrutura fixa. Geralmente, o usuário seleciona a estrutura do sistema subjacente (especialmente nos métodos PEI) ou pelo menos a ordem do sistema (nos dois métodos). Mesmo que não seja necessário, é buscado um sistema de baixa ordem (ou seja, o número de coeficientes de base é relativamente pequeno) porque é frequentemente usado para fins de controle, por isso precisamos mantê-lo o mais simples possível para evitar questões computacionais etc. Este modelo pode ser usado para fazer previsões sobre o comportamento futuro do sistema, considerando algumas entradas.

Por outro lado, o aprendizado de máquina (ML) possui dois ramos principais, algoritmos de classificação e regressão. Os últimos também são usados ​​para fins de previsão. Duas das abordagens mais famosas no aprendizado de máquina são as Máquinas de Vetor de Suporte (SVM) e os processos Gaussianos (GP). A principal diferença com as técnicas de identificação do sistema é que as técnicas de ML estão fornecendo um modelo não paramétrico. O último significa que a previsão para uma nova entrada é dada em função dos pontos de dados usados ​​para o "treinamento" (aprendizado, identificação) do modelo. Portanto, se usarmos N = 1000 pontos de dados para o treinamento, a previsão será expressa em função desses pontos de dados. Os métodos de ML são mais flexíveis, pois não requerem seleção de estrutura do usuário, mas enfrentam outras limitações (por exemplo,

Até recentemente, o ML e as técnicas de identificação do sistema estavam se desenvolvendo de forma independente. Porém, nos últimos anos, há um grande esforço para estabelecer um terreno comum (por exemplo, consulte o artigo "Quatro encontros com a identificação do sistema" de Ljung)

Contexto: SysID e controla o cara que entrou no ML.

Acho que a resposta do user110686 faz um bom trabalho ao explicar algumas diferenças. O SysID é necessariamente sobre modelos dinâmicos a partir de dados de entrada / saída, enquanto o ML cobre uma classe mais ampla de problemas. Mas a maior diferença que vejo é com (a) memória (número de parâmetros); (b) uso final do modelo "aprendido". A identificação do sistema é bastante uma abordagem de processamento de sinal, considerando representações no domínio da frequência, análise de frequência e tempo etc. Algumas pessoas da ML chamam isso de "engenharia de recursos".

(uma memoria:O SysID tornou-se proeminente muito antes da ML, quando um campo de pesquisa tomou forma. Portanto, a estatística e o processamento de sinais foram a base principal dos fundamentos teóricos, e o cálculo foi assustador. Portanto, as pessoas trabalhavam com uma classe muito simples de modelos (trade-off de polarização) com muito poucos parâmetros. Estamos falando de no máximo 30 a 40 parâmetros e principalmente modelos lineares, mesmo nos casos em que as pessoas sabem claramente que o problema não é linear. No entanto, agora a computação é muito barata, mas o SysID ainda não saiu de seu shell. As pessoas devem começar a perceber que agora temos sensores muito melhores, que podem estimar facilmente milhares de parâmetros com conjuntos de modelos muito ricos. Alguns pesquisadores tentaram usar redes neurais para o SysID, mas muitos parecem relutantes em aceitá-las como "convencionais", já que não existem muitas garantias teóricas.

(b) Uso final do modelo aprendido: Agora, isso é uma coisa que o SysID ficou muito correto, mas muitos algoritmos de ML não conseguem capturar. É importante reconhecer que, para os aplicativos de destino, você está necessariamente criando modelos que podem ser usados ​​efetivamente para otimização online.Esses modelos serão usados ​​para propagar quaisquer decisões de controle tomadas e, quando configuradas como um problema de controle ideal, os modelos se tornam restrições. Portanto, ao usar uma estrutura de modelo extremamente complicada, torna a otimização on-line muito mais difícil. Observe também que essas decisões online são tomadas na escala de segundos ou menos. Uma alternativa proposta é aprender diretamente a função de valor de maneira fora da política para um controle ideal. Isso é basicamente um aprendizado por reforço, e acho que há uma boa sinergia entre o SysID e o RL.

Eu gostaria de acrescentar que também existem abordagens não paramétricas para identificação do sistema. Veja a caixa de ferramentas SysId do MATLAB ou o livro de Ljung para obter detalhes. Abordagens não paramétricas são frequentemente usadas para identificar primeiro a classe de modelos para estudos paramétricos posteriores. Além disso, é importante separar o problema de estimativa do problema de controle (pense no loop OODA). Na identificação de um sistema, geralmente o objetivo é caracterizar o sistema sem nenhuma entrada de controle específica do tipo que será projetada posteriormente (mas isso nem sempre é possível). Finalmente, acho que é útil perceber que um sistema é do ponto de vista matemático um operador que mapeia um espaço de função para um espaço de função. Portanto, equações diferenciais são frequentemente os tipos de coisas identificadas e essas funções de mapeamento para funções. As funções no SysID geralmente são funções contínuas do tempo, também conhecidas como sinais de tempo contínuo. (Mas eles também podem ter um tempo discreto.) Assim, o SysID não está apenas tentando mapear números reais (ou vetores) para números reais (ou vetores); procura identificar o melhor operador (LTI, LTV, não linear, etc.) que mapeia os sinais de entrada para os sinais de saída.

Machine Learning: modelagem para modelo estático e dinâmico, Identificação do sistema: foco no modelo dinâmico ou processo dinâmico