Enquanto lia casualmente algum mercado de massa trabalha com a teoria do caos nos últimos anos, comecei a me perguntar como vários aspectos dele poderiam ser aplicados à mineração de dados e campos relacionados, como redes neurais, reconhecimento de padrões, gerenciamento de incertezas etc. deparamos com tão poucos exemplos de tais aplicações na pesquisa publicada que me pergunto se: a) eles realmente foram postos em prática em experimentos e projetos conhecidos e publicados eb) se não, por que eles são usados ​​tão pouco nessas inter-relações? Campos?

A maioria das discussões sobre a teoria do caos que eu vi até hoje giram em torno de aplicativos científicos que são inteiramente úteis, mas têm pouco a ver com mineração de dados e campos relacionados, como reconhecimento de padrões; um dos exemplos arquetípicos é o problema dos três corpos da física. Quero renunciar à discussão de aplicações científicas comuns desse tipo e restringir a questão apenas àquelas que são obviamente relevantes para a mineração de dados e campos relacionados, que parecem ser poucos e distantes na literatura. A lista de aplicativos em potencial abaixo pode ser usada como ponto de partida de uma pesquisa para pesquisa publicada, mas estou interessado apenas nos aplicativos que foram realmente colocados em prática, se houver. O que estou procurando são implementações conhecidas da teoria do caos para mineração de dados, em contraste com a lista de possíveis aplicações, que é muito mais ampla. Aqui está uma pequena amostra de idéias inusitadas para aplicativos de mineração de dados que me ocorreram durante a leitura; talvez nenhum deles seja pragmático, talvez alguns estejam sendo utilizados de maneira prática enquanto falamos, mas seguem termos com os quais ainda não estou familiarizado:

1. Identificando estruturas auto-similares no reconhecimento de padrões, como Mandelbrot fez de maneira prática no caso de erros de linhas telefônicas analógicas há algumas décadas atrás.
2. Encontrando a constante de Feigenbaum nos resultados da mineração (talvez de uma maneira semelhante à forma como os teóricos das cordas ficaram surpresos ao ver as Equações de Maxwell aparecerem em lugares inesperados no curso de suas pesquisas).
3. Identificando a profundidade de bits ideal para pesos líquidos neurais e vários testes de mineração. Eu me perguntei sobre isso por causa das escalas numéricas extremamente pequenas em que a sensibilidade às condições iniciais entra em jogo, as quais são parcialmente responsáveis ​​pela imprevisibilidade das funções relacionadas ao caos.
4. Usar a noção de dimensões fracionárias de outras maneiras não necessariamente relacionadas a fascinantes curiosidades fractais, como são as esponjas de Menger, as curvas de Koch ou os tapetes de Sierpinski. Talvez o conceito possa ser aplicado às dimensões dos modelos de mineração de alguma maneira benéfica, tratando-os como fracionários?
5. Derivando leis de poder como as que entram em jogo nos fractais.
6. Como as funções encontradas nos fractais são não lineares, pergunto-me se há alguma aplicação prática na regressão não linear.
7. A teoria do caos tem algumas relações tangenciais (e às vezes exageradas) com a entropia, então eu me pergunto se há alguma maneira de calcular a entropia de Shannon (ou os limites para ela e seus parentes) a partir das funções usadas na teoria do caos, ou vice-versa.
8. Identificando comportamento de duplicação de período nos dados.
9. Identifique a estrutura ideal para uma rede neural selecionando de maneira inteligente as que têm maior probabilidade de se "auto-organizar" de uma maneira útil.
10. Caos e fractais, etc. também estão relacionados tangencialmente à complexidade computacional, então eu me pergunto se a complexidade poderia ser usada para identificar estruturas caóticas, ou vice-versa.
11. Ouvi pela primeira vez o expoente de Lyapunov em termos da teoria do caos e notei isso algumas vezes desde então em receitas para redes neurais específicas e discussões sobre entropia.

Provavelmente existem dezenas de outros relacionamentos que não listei aqui; tudo isso saiu do topo da minha cabeça. Não estou estreitamente interessado em respostas específicas para essas especulações específicas, mas apenas as estou apresentando como exemplos do tipo de aplicativos que podem existir na natureza. Gostaria de ver respostas que tenham exemplos de pesquisas atuais e implementações existentes de idéias como essa, desde que os aplicativos sejam especificamente aplicáveis ​​à mineração de dados.

Provavelmente existem outras implementações existentes das quais não conheço, mesmo em áreas com as quais estou mais familiarizado (como teoria da informação, conjuntos nebulosos e redes neurais) e outras com aquelas em quem tenho ainda menos competência, como regressão, e mais informações. é bem vindo Meu objetivo prático aqui é determinar se investir ou não mais em aprender sobre aspectos particulares da teoria do caos, que colocarei em segundo plano se não encontrar alguma utilidade óbvia.

Eu fiz uma pesquisa no CrossValidated, mas não vi nenhum tópico que abordasse diretamente as aplicações utilitárias da teoria do caos à mineração de dados, etc. O mais próximo que pude chegar foi a teoria do caos, modelagem livre de equações e estatísticas não paramétricas , que tratam com um subconjunto específico.

A mineração de dados (DM) como abordagem prática parece quase complementar às abordagens de modelagem matemática (MM) e até contraditória à teoria do caos (CT). Primeiro vou falar sobre DM e MM geral, depois focar na TC.

Modelagem matemática

Na modelagem econômica, o DM até muito recentemente era considerado quase um tabu, um truque para procurar correlações em vez de aprender sobre causalidade e relacionamentos, veja este post no blog da SAS. A atitude está mudando, mas existem muitas armadilhas relacionadas a relacionamentos espúrios , dragagem de dados , hackers p etc.

Em alguns casos, o DM parece ser uma abordagem legítima, mesmo em campos com práticas estabelecidas de MM. Por exemplo, o DM pode ser usado para procurar interações de partículas em experimentos físicos que geram muitos dados, pense em esmagadores de partículas. Nesse caso, os físicos podem ter uma idéia de como as partículas se parecem e procurar os padrões nos conjuntos de dados.

Teoria do caos

O sistema caótico é provavelmente particularmente resistente à análise com técnicas de DM. Considere um método congruental linear familiar ( LCG ) usado em geradores de números psudo-aleatórios comuns . É essencialmente um sistema caótico . É por isso que é usado para "falsificar" números aleatórios. Um bom gerador será indistinguível de uma sequência numérica aleatória. Isso significa que você não poderá determinar se é aleatório ou não usando métodos estatísticos. Também incluirei mineração de dados aqui. Tente encontrar um padrão na sequência gerada por RAND () com mineração de dados! No entanto, novamente, é uma sequência completamente determinística, como você sabe, e suas equações também são extremamente simples.

A teoria do caos não se refere à busca aleatória de padrões de similaridade. A teoria do caos envolve o aprendizado sobre processos e relações dinâmicas, de modo que pequenos distúrbios se amplificam no sistema, criando comportamentos instáveis, enquanto, de alguma forma, nesse caos surgem padrões estáveis. Todo esse material interessante acontece devido às propriedades das próprias equações. Os pesquisadores estudam essas equações e seus sistemas. Isso é muito diferente da mentalidade de mineração de dados aplicada.

Por exemplo, você pode falar sobre padrões de auto-similaridade enquanto estuda sistemas caóticos e perceber que os mineradores de dados também falam sobre a pesquisa de padrões. No entanto, esses manipulam o conceito de "padrão" de maneira muito diferente. O sistema caótico estaria gerando esses padrões a partir das equações. Eles podem tentar criar seu conjunto de equações observando sistemas reais etc., mas sempre lidam com equações em algum momento. Os mineradores de dados viriam do outro lado e, sem conhecer ou adivinhar muito sobre a estrutura interna do sistema, tentariam procurar padrões. Eu não acho que esses dois grupos olhem para os mesmos sistemas ou conjuntos de dados reais.

Outro exemplo é o mapa logístico mais simples com o qual Feigenbaum trabalhou para criar seu famoso período dobrando a bifurcação.

A coisa mais estranha que descobri ao ler a teoria do caos, a fim de responder a essa pergunta, foi uma espantosa escassez de pesquisas publicadas nas quais a mineração de dados e seus parentes aproveitam a teoria do caos. Isso ocorreu apesar de um esforço conjunto para encontrá-los, consultando fontes como a Applied Chaos Theory: um paradigma para a complexidade e Alligood, de AB Ҫambel, et al., Chaos: uma introdução aos sistemas dinâmicos e outros (este último é incrivelmente útil como um livro-fonte para tópico) e invadir suas bibliografias. Depois de tudo isso, eu tinha apenas que apresentar um único estudo que pudesse se qualificar e tive que esticar os limites da “mineração de dados” apenas para incluir este caso extremo: uma equipe da Universidade do Texas, realizando pesquisas sobre as reações de Belousov-Zhabotinsky (BZ) (que já eram propensas à aperiodicidade) acidentalmente descobriram discrepâncias no ácido malônico usado em seus experimentos devido a padrões caóticos, levando-os a procurar um novo fornecedor. [1] Provavelmente existem outros - eu não sou especialista em teoria do caos e dificilmente posso dar uma avaliação exaustiva da literatura - mas a desproporção gritante com usos científicos comuns, como o Problema dos Três Corpos da física, não mudaria muito se enumerássemos todos eles. De fato, nesse ínterim, quando esta questão foi encerrada, Eu considerei reescrevê-lo sob o título “Por que existem tão poucas implementações da teoria do caos na mineração de dados e em campos relacionados?” Isso é incongruente com o sentimento mal definido, mas generalizado, de que deveria haver uma infinidade de aplicações na mineração de dados e afins campos, como redes neurais, reconhecimento de padrões, gerenciamento de incertezas, conjuntos difusos, etc .; afinal, a teoria do caos também é um tópico de ponta com muitas aplicações úteis. Eu tive que pensar muito sobre exatamente onde ficavam os limites entre esses campos para entender por que minha pesquisa foi infrutífera e minha impressão errada.

A resposta; tldr

A breve explicação para esse forte desequilíbrio no número de estudos e desvio das expectativas pode ser atribuída ao fato de que a teoria do caos, a mineração de dados etc. respondem a duas classes de perguntas bem separadas; a nítida dicotomia entre eles é óbvia uma vez apontada, mas tão fundamental que passa despercebida, como olhar para o próprio nariz. Pode haver alguma justificativa para a crença de que a relativa novidade da teoria do caos e de campos como a mineração de dados explica parte da escassez de implementações, mas podemos esperar que o desequilíbrio relativo persista mesmo quando esses campos amadurecem, porque eles simplesmente tratam de lados distintos e distintos. a mesma moeda. Quase todas as implementações até o momento foram realizadas em estudos de funções conhecidas com resultados bem definidos que exibiram algumas aberrações caóticas intrigantes, enquanto a mineração de dados e técnicas individuais, como redes neurais e árvores de decisão, envolvem a determinação de uma função desconhecida ou mal definida. Os campos relacionados, como reconhecimento de padrões e conjuntos nebulosos, também podem ser vistos como a organização dos resultados de funções que também são muitas vezes desconhecidas ou mal definidas, quando os meios dessa organização também não são facilmente aparentes. Isso cria um abismo praticamente intransponível que só pode ser ultrapassado em determinadas circunstâncias raras - mas mesmo esses podem ser agrupados sob a rubrica de um único caso de uso: evitando interferências aperiódicas nos algoritmos de mineração de dados. Os campos relacionados, como reconhecimento de padrões e conjuntos nebulosos, também podem ser vistos como a organização dos resultados de funções que também são muitas vezes desconhecidas ou mal definidas, quando os meios dessa organização também não são facilmente aparentes. Isso cria um abismo praticamente intransponível que só pode ser ultrapassado em determinadas circunstâncias raras - mas mesmo esses podem ser agrupados sob a rubrica de um único caso de uso: evitando interferências aperiódicas nos algoritmos de mineração de dados. Os campos relacionados, como reconhecimento de padrões e conjuntos nebulosos, também podem ser vistos como a organização dos resultados de funções que também são muitas vezes desconhecidas ou mal definidas, quando os meios dessa organização também não são facilmente aparentes. Isso cria um abismo praticamente intransponível que só pode ser ultrapassado em determinadas circunstâncias raras - mas mesmo esses podem ser agrupados sob a rubrica de um único caso de uso: evitando interferências aperiódicas nos algoritmos de mineração de dados.

Incompatibilidade com o fluxo de trabalho da Chaos Science

O fluxo de trabalho típico da “ciência do caos” é realizar uma análise computacional das saídas de uma função conhecida, geralmente acompanhadas de auxílios visuais do espaço de fase, como diagramas de bifurcação, mapas de Hénon, seções de Poincaré, diagramas de fase e trajetórias de fase. O fato de os pesquisadores confiarem na experimentação computacional ilustra o quão difíceis são os efeitos caóticos; não é algo que você possa determinar com caneta e papel. Eles também ocorrem exclusivamente em funções não lineares. Esse fluxo de trabalho não é viável, a menos que tenhamos uma função conhecida para trabalhar. A mineração de dados pode produzir equações de regressão, funções difusas e similares, mas todas compartilham a mesma limitação: são apenas aproximações gerais, com uma janela muito mais ampla para erros. Por outro lado, as funções conhecidas sujeitas ao caos são relativamente raras, assim como os intervalos de entradas que produzem padrões caóticos, também é necessário um alto grau de especificidade para testar os efeitos caóticos. Quaisquer atratores estranhos presentes no espaço de fase de funções desconhecidas certamente mudariam ou desapareceriam à medida que suas definições e entradas mudassem, complicando bastante os procedimentos de detecção descritos por autores como Alligood, et al.

Caos como contaminante nos resultados da mineração de dados

De fato, a relação da mineração de dados e seus parentes com a teoria do caos é praticamente contraditória. Isso é literalmente verdade se considerarmos a análise criptográfica amplamente como uma forma específica de mineração de dados, uma vez que encontrei pelo menos um trabalho de pesquisa sobre como alavancar o caos em esquemas de criptografia (não consigo encontrar a citação no momento, mas posso caçar a pedido). Para um minerador de dados, a presença do caos é normalmente uma coisa ruim, uma vez que os valores aparentemente absurdos que a saída gera podem complicar bastante o já árduo processo de aproximação de uma função desconhecida. O uso mais comum para o caos na mineração de dados e em campos relacionados é descartá-lo, o que não é tarefa fácil. Se efeitos caóticos estão presentes, mas não são detectados, seus efeitos em um empreendimento de mineração de dados podem ser difíceis de superar. Pense na facilidade com que uma rede neural comum ou em uma árvore de decisão pode superestimar os resultados aparentemente sem sentido de um atrator caótico, ou como picos repentinos nos valores de entrada certamente podem confundir a análise de regressão e podem ser atribuídos a amostras ruins ou outras fontes de erro. A raridade de efeitos caóticos entre todas as funções e intervalos de entrada significa que a investigação sobre eles seria severamente desioritizada pelos pesquisadores.

Métodos de detecção do caos nos resultados da mineração de dados

Certas medidas associadas à teoria do caos são úteis na identificação de efeitos aperiódicos, como a Entropia de Kolmogorov e a exigência de que o espaço de fase exiba um expoente de Lyapunov positivo. Ambos estão na lista de verificação para detecção do caos [2] fornecida na Teoria do Caos Aplicado de ABҪambel, mas a maioria não é útil para funções aproximadas, como o expoente Lyapunov, que requer funções definidas com limites conhecidos. O procedimento geral que ele descreve pode, no entanto, ser útil em situações de mineração de dados; O objetivo de Ҫambel é, em última análise, um programa de “controle do caos”, isto é, eliminação dos efeitos aperiódicos interferentes. [3] Outros métodos, como calcular a contagem de caixas e as dimensões de correlação para detectar as dimensões fracionais que levam ao caos, podem ser mais práticos em aplicativos de mineração de dados do que o Lyapunov e outros em sua lista. Outro sinal revelador de efeitos caóticos é a presença de períodos de duplicação (ou triplicação e além) dos resultados das funções, que geralmente precedem o comportamento aperiódico (isto é, “caótico”) nos diagramas de fases.

Diferenciando Aplicações Tangenciais

Esse caso de uso primário deve ser diferenciado de uma classe separada de aplicativos que são tangencialmente relacionados à teoria do caos. Em uma inspeção mais detalhada, a lista de “aplicações potenciais” que forneci na minha pergunta na verdade consistia quase inteiramente de idéias para alavancar conceitos dos quais a teoria do caos depende, mas que podem ser aplicadas independentemente na ausência de comportamento aperiódico (exceto o período de duplicação). Recentemente, pensei em um novo uso de nicho potenital, gerando um comportamento aperiódico para remover redes neurais a partir de mínimos locais, mas isso também pertenceria à lista de aplicações tangenciais. Muitos deles foram descobertos ou desenvolvidos como resultado de pesquisas sobre a ciência do caos, mas podem ser aplicados a outros campos. Essas "aplicações tangenciais" têm apenas conexões difusas entre si, mas formam uma classe distinta, separado por um limite rígido do principal caso de uso da teoria do caos na mineração de dados; o primeiro aproveita certos aspectos da teoria do caos sem os padrões aperiódicos, enquanto o último é dedicado exclusivamente a descartar o caos como um fator complicador nos resultados da mineração de dados, talvez com o uso de pré-requisitos como a positividade do expoente de Lyapunov e a detecção de duplicação de período . Se diferenciarmos a teoria do caos de outros conceitos que ela utiliza corretamente, é fácil ver que as aplicações da primeira estão inerentemente restritas a funções conhecidas no estudo científico comum. Realmente há boas razões para se entusiasmar com as possíveis aplicações desses conceitos secundários na ausência de caos, mas também motivo para se preocupar com os efeitos contaminantes do comportamento aperiódico inesperado nos esforços de mineração de dados quando ele está presente. Tais ocasiões serão raras, mas é provável que essa raridade signifique que elas não serão detectadas. O método de elambel pode ser útil para evitar esses problemas.

[1] pp. 143-147, Alligood, Kathleen T .; Sauer, Tim D. e Yorke, James A., 2010, Caos: Uma Introdução aos Sistemas Dinâmicos, Springer: Nova York. [2] pp. 208-213, elambel, AB, 1993, Teoria do Caos Aplicada: Um Paradigma para Complexidade, Academic Press, Inc .: Boston. [3] p. 215, elambel.