Estudos sistemáticos da soma dos polinômios quadráticos ao quadrado

Gostaria de saber se existem estudos sistemáticos de somas de formas quadráticas ao quadrado, semelhantes às formas quadráticas, o que é praticamente refletido na decomposição de autovalores (que tem enorme implicação prática). Alguns exemplos relacionados à importância da pergunta.

1. Análise de componentes principais (PCA) . Dado um conjunto de pontos encontre o conjunto de eixos u 1 , ... u m , escrito como matriz U ∈ R n x R m , e projeções ξ 1 , ... , ξ k , ξ ∘ ∈ R m que minimiza variância inexplicada, isto é resolver o seguinte problema de optimização quártico$x_i \in \mathbb{R^n}, i=1..k$$u_1$$u_m$$U \in \mathbb{R^n x R^m}$$\xi_1$$\xi_k, \xi_{\circ} \in \mathbb{R^m}$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   Pela magia da simetria, ele tem a solução por decomposição de valor singular

2. PCA generalizado . Igual ao PCA, mas agora há uma precisão matriz associado a cada observáveis x i . O problema se torna mais complicado$A_i \in \mathbb{R^n x R^n}$$x_i$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   $A_i$$A_i = A_j, \forall i,j$$\square$

$p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$$p$ não pode ser representado como uma soma de quadrados de polinômios quadráticos, além disso.

Gostaria de saber se alguém fez estudos sistemáticos de polinômios representáveis ​​pela soma dos quadrados dos polinômios quadráticos.

Que eu saiba, não existe esse estudo; além disso, sem alguns avanços não triviais na tecnologia dos problemas da soma dos quadrados (SOS), atualmente não está claro qual seria o benefício imediato de um estudo desse tipo. (Vou me concentrar na conexão SOS, já que, até onde sei, é a melhor maneira de resolver esses problemas quádricos gerais.) estes problemas. Eu substanciarei minha reivindicação de algumas maneiras, espero que as pessoas considerem úteis ..

Primeiro, para os problemas mais básicos do tipo que você discute, a conexão SVD oferece um solucionador muito melhor do que a caixa preta do SOS; em particular, o último constrói um SDP com termos , em que é o número total de variáveis ​​no problema de otimização da fonte (por exemplo, o número total de elementos em todas as matrizes desconhecidas; para ver onde obtive esses números, veja a aula 10 do curso de Pablo Parrilo em 2006: http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / notas de aula / lecture_10.pdf ). Este é um SDP que você nunca iria querer resolver (o tempo de execução depende de como$\binom{n+2}{2}$$n$$n$$n^{6}$usando um solucionador de pontos interiores?), especialmente quando comparado com a velocidade ridícula de um solucionador de SVD (usando notação consistente, SVD será algo como ; você pode desfigurar meus cálculos rastreando o número de colunas, linhas e classificação de destino, mas é um desastre, não importa como você retifique minha negligência). Nesse sentido, se você projetasse um algoritmo especializado para resolver problemas de SOS, onde o grau máximo em qualquer polinômio é dois: isso seria incrível e o tipo de pesquisa que você procuraria teria muito valor.$\mathcal O(n^{1.5})$

Em segundo lugar, como a formulação básica desses problemas está fora da janela, pode-se perguntar se determinadas variantes desses problemas são bem tratadas pelos solucionadores de SOS. Como um exemplo importante, considere o problema de NMF (fatoração da matriz não negativa), em que a matriz desconhecida que você está otimizando (na formulação acima) agora deve ter entradas não negativas. Infelizmente, se você usar o SDP padrão usado para resolver esses problemas (veja, por exemplo, as notas de Pablo Parrilo acima), não há como introduzir essas restrições. (E como algumas formulações dos problemas resultantes são difíceis para o NP, agora você estaria construindo um esquema de aproximação; isto pode ficar desagradável.) Além disso, há trabalhos recentes que exploraram a estrutura polinomial desse problema para criar solucionadores com alguns garantias: vejahttp://arxiv.org/abs/1111.0952 de Arora, Ge, Kannan e Moitra. Eles constroem alguns algoritmos, no entanto, quando resolvem um problema NMF "exato" (onde há uma fatoração exata, isto é, um que fornece valor objetivo 0), eles não usam um solucionador SOS: eles usam um solucionador que verifica a viabilidade de "semi -conjuntos algébricos ", um problema de otimização muito mais difícil que permite os tipos de restrições levantadas pelo NMF, mas agora com tempo de execução exponencial.

Enfim, para resumir e dar uma perspectiva adicional; Como o SOS é o único solucionador para os problemas quádricos de que você fala (ou seja, não acho que exista um solucionador quádrico especializado), discuti como esses solucionadores têm alternativas melhores para os tipos de problemas quáticos que as pessoas se preocupam. Para usar efetivamente as ferramentas SOS aqui, você teria que criar um solucionador incrível para o caso quártico (polinômios internos de grau no máximo 2), ou teria que encontrar uma maneira de adicionar restrições a esses problemas. Caso contrário, a conexão com os problemas do SOS, embora fascinante, não oferece muito.

Você também mencionou que está surpreso que a literatura que você encontrou não faça essa conexão. Eu acho que isso se deve principalmente à novidade dos solucionadores de SOS práticos (embora a consideração abstrata dos problemas de SOS remonte muito longe) e ao que eu disse acima. De fato, quando eu encontrei os solucionadores de SOS pela primeira vez, era através das anotações e documentos de Parrilo, e eu também me perguntei: "Por que ele não está falando sobre problemas do tipo PCA"? Então eu verifiquei os fatos acima e fiz uma careta. Acho que também é um mau sinal de que o próprio Parrilo não tenha discutido esses problemas fora da referência mencionada em sua tese (enquanto isso, ele tem trabalhos em várias extensões, e eu tenho muito respeito por seu trabalho neste campo: ele deve ter pensado sobre esses problemas quáticos específicos muitas vezes.http://arxiv.org/abs/1111.1498 ).