A origem do termo "regularização"

Quando eu introduzo conceitos para meus alunos, geralmente acho divertido dizer a eles onde a terminologia se origina ("regressão", por exemplo, é um termo com uma origem interessante). Não consegui descobrir o histórico / plano de fundo do termo "regularização" em estatística / aprendizado de máquina.

Então, qual é a origem do termo regularização ?

Semelhante à contribuição de Matthew Gunn , essa também não é realmente uma resposta, mas mais um candidato plausível.

Também ouvi pela primeira vez o termo "regularização" no contexto da regularização de Tikhonov e, em particular, no contexto de problemas inversos (lineares) em geofísica. Curiosamente, enquanto eu pensava que isso provavelmente se devia à minha área de estudo (ou seja, veja meu nome de usuário), aparentemente Tikhonov realmente fez muito do seu trabalho nessa área!

Meu palpite é que a abordagem moderna de "regularização" provavelmente se originou com o trabalho de Tikhonov. Com base nessa especulação, minha contribuição aqui tem duas partes.

A primeira parte é de natureza histórica (poltrona) (com base em títulos em papel e em meus próprios preconceitos anteriores!). Embora o artigo de 1963, Solução de problemas formulados incorretamente e o método de regularização pareça ser o primeiro uso do termo "regularização", eu não estaria muito certo de que isso seja verdade. Esta referência é citada na Wikipedia como

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504. Traduzido em "Solução de problemas formulados incorretamente e o método de regularização". Matemática Soviética. 4: 1035-1038.

dando a impressão de que o próprio Tikhonov escreveu originalmente pelo menos parte desse trabalho em russo, de modo que a frase "regularização" poderia ter sido cunhada por um tradutor posterior. [ATUALIZAÇÃO: Não, "регуляризации" = regularização , veja o comentário de Cagdas Ozgenc.] Além disso, este trabalho parece fazer parte de uma linha contínua de pesquisa conduzida por Tikhonov por um período muito maior . Por exemplo, o papel

Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Sobre a estabilidade de problemas inversos]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

mostra que ele estava envolvido no mesmo tópico geral pelo menos 20 anos antes. No entanto, essa linha do tempo sugere que provavelmente o trabalho com problemas inversos começou muito mais perto de 1963 do que em 1943.

[ ATUALIZAÇÃO: Esta tradução do artigo de 1943 mostra que a terminologia para " regularidade " de aqui foi usada para se referir à "estabilidade do problema inverso (ou à continuidade do mapeamento inverso)" .]

A segunda parte da minha contribuição é uma hipótese sobre como a "regularização" pode ter sido originalmente planejada nesse contexto. Geralmente "regular" é usado como sinônimo de "suave", principalmente na descrição de curvas e / ou geometria de superfície. Na maioria das aplicações geofísicas, a solução desejada é uma estimativa em grade de um campo distribuído espacialmente , e a regularização de Tikhonov é usada para impor uma suavidade prévia.

(A matriz de Tikhonov normalmente será um operador derivado espacial discreto , semelhante às matrizes PDE, versus a matriz de identidade da regressão de crista. Isso ocorre porque, para esses modelos de grade / frente, o espaço nulo da matriz de modelo dianteiro tende a incluir coisas como "modos de tabuleiro de damas" que poluirão os resultados, a menos que sejam penalizados; semelhante a isso ).

Atualização: Esses problemas estão ilustrados na minha resposta aqui .

Sumário

1. Também votei em Tikhonov como o autor (provavelmente por volta de 1963)
2. As aplicações originais podem ter sido modelagem inversa geofísica; portanto, o termo "regularização" pode se referir a tornar os mapas resultantes * mais suaves, ou seja, "regulares".

(* Com base na citação atualizada do artigo de 1943, essa frase parece verdadeira ... mas pelo motivo errado! O "mapa" relevante não estava entre grade e campo, , mas o mapeamento inverso de um modelo para frente .)$u[x]=F[\theta]$$\theta=F^{-1}[u]$

Isso é parte da resposta, parte do longo comentário. Uma lista incompleta de candidatos:

1. Tikhonov, Andrey. "Solução de problemas formulados incorretamente e o método de regularização." Matemática Soviética. Dokl. Vol. 5. 1963. Tikhonov é conhecido pela regularização de Tikhonov (também conhecida como regressão de cordilheira).

2. Existe um conceito de regularização na física que remonta pelo menos aos anos 1940, mas não vejo nenhuma conexão com a regularização de Tikhonov? (Eu não sou um físico.)

3. Os textos de engenharia falam da regularização de um rio (para melhorar a navegação) que remonta pelo menos aos anos 1880.

Pesquisando em http://books.google.com , não vejo uso generalizado do termo "regularização" até a década de 1970, quando ele começa a aparecer repetidamente no contexto dos livros de matemática e física.

De maneira mais simples, o termo sobreviveu à evolução natural dos termos científicos porque captura o objetivo principal da técnica: de um monte de soluções a um problema mal colocado, ele escolhe as soluções que são regulares , ou seja,

de acordo com a regra

( definição de dicionário livre )

Isso também é usado em linguagem comum para projetar uma superfície lisa em carpintaria, por exemplo. Da mesma forma, as soluções de um problema de regressão parecerão mais regulares se a regra for minimizar a variação total (TV) de bits não suaves do sinal reconstruído (conforme medido pela energia total do gradiente, por exemplo).

O termo se espalhou amplamente porque é muito genérico: qualquer pessoa pode definir sua única regra, da TV às medidas da norma L1 ou usando a pseudo-norma ! Como tal, a regra pode desempenhar um papel semelhante ao anterior nas estatísticas bayesianas.$\ell_0$