Problema de otimização restrito na entropia matricial

Eu tenho um problema de otimização restrito na entropia da matriz (Shannon) . A matriz pode ser escrita como a soma das matrizes de classificação 1 do formulário $\mathtt{(sum(entr(eig(A))))}$ $A$ onde é um dado vector normalizado. Os coeficientes das matrizes da classificação um são as incógnitas em que otimizamos e elas devem ser maiores que zero e somar 1. $[v_i\,v_i^T]$ $v_i$

Em uma sintaxe semelhante ao CVX, o problema é o seguinte: dada a variável $\mathtt{c(n)}$

minimize s u m (e n t r (e i g (A)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

\begin{aligned} subject to A & = \sum c_{i} v_{i} v_{i}^{T} \\ \sum c_{i} & = 1 \\ c_{i} & \geq 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$

Alguém tem uma idéia de como resolver isso com eficiência? Eu já sei que provavelmente não pode ser lançado como um problema de programação semi-definida (SDP).

optimization entropy

— Seca
fonte

Editar: um colega me informou que meu método abaixo é uma instância do método geral no artigo a seguir, quando especializado na função entropia,

Overton, Michael L. e Robert S. Womersley. "Segundas derivadas para otimizar valores próprios de matrizes simétricas." Jornal SIAM sobre Análise e Aplicações de Matrizes 16.3 (1995): 697-718. http://ftp.cs.nyu.edu/cs/faculty/overton/papers/pdffiles/eighess.pdf

visão global

Neste post, mostro que o problema de otimização está bem colocado e que as restrições de desigualdade estão inativas na solução; depois, calculamos o primeiro e o segundo derivados de Frechet da função entropia; em seguida, proponho o método de Newton para o problema com a restrição de igualdade eliminada. Finalmente, o código Matlab e os resultados numéricos são apresentados.

Boa postura do problema de otimização

Primeiro, a soma de matrizes definidas positivas é definida positiva, de modo que para , a soma de rank-1 matrizes é definida positiva. Se o conjunto de é a classificação completa, os autovalores de são positivos, de modo que os logaritmos dos autovalores podem ser obtidos. Assim, a função objetivo é bem definida no interior do conjunto viável. $c_i > 0$

A (c) := \sum_{i = 1}^{N} c_{i} v_{i} v_{i}^{T}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

v_{i}

$v_i$

A

$A$

$c_i \rightarrow 0$ $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ $c_i \rightarrow 0$ $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ $c_i \ge 0$

Derivados de Frechet da função entropia

No interior da região viável, a função de entropia é Frechet diferenciável em todos os lugares e duas vezes Frechet diferenciável onde quer que os autovalores não sejam repetidos. Para fazer o método de Newton, precisamos calcular derivadas da entropia da matriz, que depende dos valores próprios da matriz. Isso requer sensibilidades computacionais da decomposição de autovalor de uma matriz em relação a alterações na matriz.

$A$ $A = U \Lambda U^T$

d Λ = I \circ (U^{T} d A U),

$d\Lambda = I \circ (U^T dA U),$

d U = U C (d A),

$dU = UC(dA),$

\circ

$\circ$

C = {\begin{cases} \frac{u_{i}^{T} d A u_{j}}{λ_{j} - λ_{i}}, & i = j \\ 0, & i = j \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

$AU=\Lambda U$ $d\Lambda$

\begin{aligned} d^{2} Λ & = d (I \circ (U^{T} d A_{1} U)) \\ = I \circ (d U_{2}^{T} d A_{1} U + U^{T} d A_{1} d U_{2}) \\ = 2 I \circ (d U_{2}^{T} d A_{1} U) . \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

$d^2 \Lambda$ $dU_2$ $C$ $v_i$

Eliminando a restrição de igualdade

$\sum_{i=1}^N c_i = 1$ $N-1$

c_{N} = 1 - \sum_{i = 1}^{N - 1} c_{i} .

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

$N-1$

d f = d C_{1}^{T} M^{T} [I \circ (V^{T} U B U^{T} V)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

d d f = d C_{1}^{T} M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

M = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & \dots & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

B_{a} = d i a g (1 + \log λ_{1}, 1 + \log λ_{2}, \dots, 1 + \log λ_{N}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

B_{b} = d i a g (\frac{d_{2} λ_{1}}{λ_{1}}, \dots, \frac{d_{2} λ_{N}}{λ_{N}}) .

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

Método de Newton após eliminar a restrição

Como as restrições de desigualdade são inativas, simplesmente começamos no conjunto viável e executamos a região de confiança ou a pesquisa de linhas inexata newton-CG para convergência quadrática aos máximos interiores.

O método é o seguinte, (não incluindo detalhes da pesquisa de região de confiança / linha)

$\tilde{c} = [1/N,1/N,\ldots,1/N]$
$c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
$A = \sum_i c_i v_i v_i^T$
$U$ $\Lambda$ $A$
$G = M^T [I \circ (V^T U B U^T V)]$
$H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ $M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
$\tilde{c} \leftarrow \tilde{c} - p$
Vá para 2.

Resultados

$v_i$ $N=100$ $v_i$

>> N = 100;
>> V = padrão (N, N);
>> para k = 1: NV (:, k) = V (:, k) / norma (V (:, k)); fim
>> maxEntropyMatrix (V);
Iteração de Newton = 1, norma (grad f) = 0,67748
Iteração de Newton = 2, norma (grad f) = 0,03644
Iteração de Newton = 3, norma (grad f) = 0.0012167
Iteração de Newton = 4, norma (grad f) = 1.3239e-06
Iteração de Newton = 5, norma (grad f) = 7.7114e-13

Para ver que o ponto ótimo calculado é de fato o máximo, aqui está um gráfico de como a entropia muda quando o ponto ótimo é perturbado aleatoriamente. Todas as perturbações fazem a entropia diminuir. insira a descrição da imagem aqui

Código Matlab

Função tudo em 1 para minimizar a entropia (adicionada recentemente a esta postagem): https://github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m

— Nick Alger
fonte

Muito obrigado! Resolvi-o com simplicidade, com gradiente asscent, mas isso provavelmente é mais confiável. O fato de que v precisa ser de classificação completa no arquivo matlab é a única coisa que me incomoda.

— Seca

@NickAlger O link fornecido não está funcionando, posso solicitar que você dê uma olhada?

— Criador

@Creator link atualizado no post! github.com/NickAlger/various_scripts/blob/master/…

— Nick Alger

@NickAlger Existe uma restrição na matriz que o algoritmo pode operar? Esse algoritmo é bom para matrizes com elementos complexos? No meu caso, o SVD falha após algum tempo, pois a matriz possui Nan.

— Criador

Não acho que números complexos devam ser um problema. Uma limitação do método é que a solução ideal não pode ter autovalores repetidos, o que acho que é o que está acontecendo aqui. Nesse caso, o método converge para algo que está dividindo por zero na equação C. Você pode tentar perturbar as entradas aleatoriamente um pouco e ver se isso ajuda as coisas. Existe uma maneira de contornar isso no artigo de Overton mencionado acima, mas meu código não é tão avançado.

— Nick Alger