Pacote de software para resolver a regressão linear da norma L-infinito

Existe algum pacote de software para resolver a regressão linear com o objetivo de minimizar a norma L-infinito.

Resposta curta : Seu problema pode ser formulado como um programa linear (LP), permitindo que você escolha seu solucionador de LP favorito para a tarefa. Para ver como escrever o problema como um LP, continue lendo.

Esse problema de minimização é geralmente chamado de aproximação de Chebyshev .

Vamos , com a linha denotada por e . Então procuramos minimizar a função em relação a . Indique o valor ideal por $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$$\X \in \reals^{n \times p}$$i$$\x_i$$\b \in \reals^p$$f(\b) = \|\y - \X \b\|_\infty$$\b$

$$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$$

A chave para reformular isso como um LP é reescrever o problema na forma de epígrafe . Não é difícil se convencer de que, de fato,

$$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$$

Agora, usando a definição da função , podemos reescrever o lado direito acima como e portanto, vemos que minimizar a norma em uma configuração de regressão é equivalente ao LP onde a otimização é feita over e denota um vetor de comprimento . Deixo como um (fácil) exercício para o leitor reformular o LP acima na forma padrão.$f$

$$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $\ell_\infty$ $$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$$ $(\b, t)$$\ones$$n$

Relação com a (variação total) da regressão linear$\ell_1$

É interessante notar que algo muito semelhante pode ser feito com a norma . Seja . Argumentos semelhantes levam a concluir que modo que o LP correspondente seja $\ell_1$$g(\b) = \|\y - \X \b \|_1$

$$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$$

Observe aqui que agora é um vetor de comprimento vez de um escalar, como no caso .$\t$$n$$\ell_\infty$

A semelhança entre esses dois problemas e o fato de que ambos podem ser escolhidos como LPs não é, obviamente, um acidente. As duas normas estão relacionadas na medida em que são as normas duplas uma da outra.

O Malab pode fazer isso usando o cvx. para obter o cvx (gratuito):

http://cvxr.com/cvx/download/

No cvx, você escreveria desta maneira:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

(verificação exemplo página 12 do manual de )

Existe uma implementação Python do CVX ( aqui ), mas os comandos são um pouco diferentes ...

A resposta do @ cardinal é bem declarada e foi aceita, mas, para fechar completamente esse segmento, vou oferecer o seguinte: As bibliotecas numéricas do IMSL contêm uma rotina para executar a regressão da norma L-infinito. A rotina está disponível em Fortran, C, Java, C # e Python. Eu usei as versões C e Python para as quais o método é chamado lnorm_regression, que também suporta regressão geral -norm, .$L_p$$p >= 1$

Observe que essas são bibliotecas comerciais, mas as versões do Python são gratuitas (como na cerveja) para uso não comercial.