A origem do termo "regularização"


27

Quando eu introduzo conceitos para meus alunos, geralmente acho divertido dizer a eles onde a terminologia se origina ("regressão", por exemplo, é um termo com uma origem interessante). Não consegui descobrir o histórico / plano de fundo do termo "regularização" em estatística / aprendizado de máquina.

Então, qual é a origem do termo regularização ?


11
Meu melhor palpite é que a regressão remonta a Galton. Steve Stigler disse que sempre que alguém afirma ser o primeiro, será encontrado errado. Muitas pessoas pensam que Efron foi o primeiro a cunhar o termo bootstrap no contexto das estatísticas. No entanto, Simon alegou tê-lo usado no início dos anos 1960. Existem muitos usos diferentes de regularização em matemática e estatística. Na Wikipedia: en.wikipedia.org/wk/Regularization_(mathematics) .
Michael R. Chernick

Tantos métodos, tantos possíveis.
Michael R. Chernick

3
@MichaelChernick eu prefiro o termo de Tukey para inicialização, "The Shotgun", como ele vai explodir a cabeça fora de qualquer problema que você tem, exceto que você deve colocar os pedaços juntos novamente :)
Adamo

6
Eu sei que o termo tem sido de uso comum desde antes dos anos 80. Tikhonov, Arsenin 1977 escreveu um texto "Solução de problemas incorretos", que descreve um método para obter soluções suavizadas para equações lineares superespecificadas, um resultado que mais tarde foi considerado equivalente à regressão de Ridge (ver Girard 1991). Eu acho que Tikhonov usou o nome "Método de Regularização". Penso ainda que Hastie abstraiu a "regularização" de uma maneira que reflete seu uso moderno.
Adamo

5
Termos como "regularização de seqüências" existem na matemática há muito tempo (certamente desde a década de 1920), que tem um significado bastante relacionado à regularização de problemas mal colocados. Suspeito que o uso da palavra em matemática derivaria de seu uso em engenharia ("regularização de fluxo", por exemplo).
Glen_b -Reinstala Monica

Respostas:


18

Semelhante à contribuição de Matthew Gunn , essa também não é realmente uma resposta, mas mais um candidato plausível.

Também ouvi pela primeira vez o termo "regularização" no contexto da regularização de Tikhonov e, em particular, no contexto de problemas inversos (lineares) em geofísica. Curiosamente, enquanto eu pensava que isso provavelmente se devia à minha área de estudo (ou seja, veja meu nome de usuário), aparentemente Tikhonov realmente fez muito do seu trabalho nessa área!

Meu palpite é que a abordagem moderna de "regularização" provavelmente se originou com o trabalho de Tikhonov. Com base nessa especulação, minha contribuição aqui tem duas partes.

A primeira parte é de natureza histórica (poltrona) (com base em títulos em papel e em meus próprios preconceitos anteriores!). Embora o artigo de 1963, Solução de problemas formulados incorretamente e o método de regularização pareça ser o primeiro uso do termo "regularização", eu não estaria muito certo de que isso seja verdade. Esta referência é citada na Wikipedia como

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504. Traduzido em "Solução de problemas formulados incorretamente e o método de regularização". Matemática Soviética. 4: 1035-1038.

dando a impressão de que o próprio Tikhonov escreveu originalmente pelo menos parte desse trabalho em russo, de modo que a frase "regularização" poderia ter sido cunhada por um tradutor posterior. [ATUALIZAÇÃO: Não, "регуляризации" = regularização , veja o comentário de Cagdas Ozgenc.] Além disso, este trabalho parece fazer parte de uma linha contínua de pesquisa conduzida por Tikhonov por um período muito maior . Por exemplo, o papel

Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Sobre a estabilidade de problemas inversos]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

mostra que ele estava envolvido no mesmo tópico geral pelo menos 20 anos antes. No entanto, essa linha do tempo sugere que provavelmente o trabalho com problemas inversos começou muito mais perto de 1963 do que em 1943.

[ ATUALIZAÇÃO: Esta tradução do artigo de 1943 mostra que a terminologia para " regularidade " de aqui foi usada para se referir à "estabilidade do problema inverso (ou à continuidade do mapeamento inverso)" .]

A segunda parte da minha contribuição é uma hipótese sobre como a "regularização" pode ter sido originalmente planejada nesse contexto. Geralmente "regular" é usado como sinônimo de "suave", principalmente na descrição de curvas e / ou geometria de superfície. Na maioria das aplicações geofísicas, a solução desejada é uma estimativa em grade de um campo distribuído espacialmente , e a regularização de Tikhonov é usada para impor uma suavidade prévia.

(A matriz de Tikhonov normalmente será um operador derivado espacial discreto , semelhante às matrizes PDE, versus a matriz de identidade da regressão de crista. Isso ocorre porque, para esses modelos de grade / frente, o espaço nulo da matriz de modelo dianteiro tende a incluir coisas como "modos de tabuleiro de damas" que poluirão os resultados, a menos que sejam penalizados; semelhante a isso ).

Atualização: Esses problemas estão ilustrados na minha resposta aqui .


Sumário

  1. Também votei em Tikhonov como o autor (provavelmente por volta de 1963)
  2. As aplicações originais podem ter sido modelagem inversa geofísica; portanto, o termo "regularização" pode se referir a tornar os mapas resultantes * mais suaves, ou seja, "regulares".

(* Com base na citação atualizada do artigo de 1943, essa frase parece verdadeira ... mas pelo motivo errado! O "mapa" relevante não estava entre grade e campo, , mas o mapeamento inverso de um modelo para frente .)você[x]=F[θ]θ=F-1 1[você]


10
O artigo de 1963 contém "regularização" na versão russa do título. A menos que alguém tenha traduzido para o inglês e Tikhonov tenha traduzido o título de volta à sua leitura fonética, ele está lá no original. "O rehsnenii nikorrektna postavlennih zadach i metodi regularizatsii"
Cagdas Ozgenc

14

Isso é parte da resposta, parte do longo comentário. Uma lista incompleta de candidatos:

  1. Tikhonov, Andrey. "Solução de problemas formulados incorretamente e o método de regularização." Matemática Soviética. Dokl. Vol. 5. 1963. Tikhonov é conhecido pela regularização de Tikhonov (também conhecida como regressão de cordilheira).

  2. Existe um conceito de regularização na física que remonta pelo menos aos anos 1940, mas não vejo nenhuma conexão com a regularização de Tikhonov? (Eu não sou um físico.)

  3. Os textos de engenharia falam da regularização de um rio (para melhorar a navegação) que remonta pelo menos aos anos 1880.

Pesquisando em http://books.google.com , não vejo uso generalizado do termo "regularização" até a década de 1970, quando ele começa a aparecer repetidamente no contexto dos livros de matemática e física.


5
1. é definitivamente um candidato. No entanto, não creio que 2. ou 3. correspondam ao conceito matemático de regularização que o PO está buscando. A Wikipedia concorda que eles criaram artigos separados para "regularização (matemática)" e "regularização (física)".
Gordon Smyth

3

De maneira mais simples, o termo sobreviveu à evolução natural dos termos científicos porque captura o objetivo principal da técnica: de um monte de soluções a um problema mal colocado, ele escolhe as soluções que são regulares , ou seja,

de acordo com a regra

( definição de dicionário livre )

Isso também é usado em linguagem comum para projetar uma superfície lisa em carpintaria, por exemplo. Da mesma forma, as soluções de um problema de regressão parecerão mais regulares se a regra for minimizar a variação total (TV) de bits não suaves do sinal reconstruído (conforme medido pela energia total do gradiente, por exemplo).

O termo se espalhou amplamente porque é muito genérico: qualquer pessoa pode definir sua única regra, da TV às medidas da norma L1 ou usando a pseudo-norma ! Como tal, a regra pode desempenhar um papel semelhante ao anterior nas estatísticas bayesianas.0 0

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.