Restrições envolvendo

16

Suponha

\begin{aligned} min A & v e c (U) \\ subject to U_{i, j} \leq max {U_{i, k}, U_{k, j}}, i, j, k = 1, \dots, n \end{aligned}

$\begin{align*} \min A &\mathrm{vec}(U) \\ &\text{subject to } U_{i,j} \leq \max\{U_{i,k}, U_{k,j}\}, \quad i,j,k = 1, \ldots, n \end{align*}$

onde $U$ é uma matriz simétrica $n\times n$ e $\mathrm{vec}(U)$ remodela $U$ em um vetor unidimensional com $n^2$ entradas.

A parte do programa acima que me causa problemas é o $\max\{⋅,⋅\}$ . (A restrição de soluções para matrizes simétricas não-negativas parece ser direta.)

Agradecemos antecipadamente por qualquer ajuda ou referências!

optimization linear-programming

— N21
fonte

alguma razão para você não poder adicionar as duas restrições?

— Aron Ahmadia

11

@AronAhmadia: Ele não pode adicionar ambas as restrições, porque isso seria equivalente a

U_{i, j} \leq min {U_{i, k}, U_{k, j}}

$U_{i,j} \leq \min\{U_{i,k}, U_{k,j}\}$ para todos os

i, j, k

$i, j, k$ . Eu não acho que exista uma reformulação do LP desse problema, mas poderia haver uma reformulação do MILP, embora isso provavelmente torne mais caro a solução.

— 21812 Geoff Oxberry

@ N21: Qual o tamanho que você espera

n

$n$ ser para os problemas que você quer resolver?

— 21812 Geoff Oxberry

@ Geoff: Obrigado! I última análise, esperamos ter grande

n

$n$ , mas agora eu estou mais preocupado em obter uma solução preliminar com

n

$n$ menos do que, digamos, 100, ou mesmo 10.

— N21

Obrigado por esclarecer @GeoffOxberry, não pensei nisso antes de postar.

— Aron Ahmadia

14

Edit: Vamos tentar esta explicação novamente, desta vez quando estou mais acordado.

Há três grandes problemas com a formulação (em ordem de gravidade):

Não há reformulação óbvia do problema que seja obviamente suave, convexa ou linear.
Não é bom.
Não é necessariamente convexo.

Nenhuma reformulação suave / convexa / linear óbvia

Primeiro, não existe uma reformulação padrão e óbvia de cada restrição . A sugestão de Aron se aplica à restrição mais comum , na qual uma restrição como é substituída pelas duas desigualdades equivalentes a seguir: $\max$ $\min$

U_{i j} \leq min_{k} {U_{i k}, U_{k j}}

$U_{ij} \leq \min_{k}\{U_{ik}, U_{kj}\}$

U_{i j} \leq U_{i k}, \forall k

$U_{ij} \leq U_{ik}, \quad \forall k$

A reformulação não é ideal, cadarestrição

foi substituída por

restrições lineares, mas converte um programa não-linear não suave em um programa linear, cuja ordem de magnitude é mais rápida de resolver.

U_{i j} \leq U_{k j}, \forall k .

$U_{ij} \leq U_{kj}, \quad \forall k.$

min

$\min$

2 n

$2n$

Wolfgang ressalta que pode ser possível (ele não inclui uma prova) reformular as restrições para que elas sejam lineares e suaves, adicionando variáveis de folga. Uma variável de folga precisa ser adicionada para cada restrição na formulação original, o que significa que estamos adicionando restrições nessa reformulação. Além disso, toda restrição é substituída por (mais ou menos) restrições lineares. O verdadeiro assassino é que a não suavidade é movida das restrições para o objetivo, de modo que a formulação de Wolfgang ainda produz um programa não linear não suave. $\max$ $\max$ $n^2$ $\max$ $2n$

Não há uma reformulação padrão das restrições em um problema de minimização que eu conheço, depois de verificar meu livro de programação linear e fazer uma pesquisa na literatura. Isso não significa que essa reformulação não exista; isso apenas significa que não me deparei com isso. Se eu tivesse que adivinhar, diria que não existe uma formulação de LP. $\max$

Não suavidade

Nesse contexto, não suavidade significa que pelo menos uma das funções da formulação (o objetivo ou as restrições) não é duas vezes continuamente diferenciável. As funções não suaves nesta formulação são as funções . $\max$

A não lisura é um grande problema porque:

imediatamente torna seu problema não linear
a maioria dos solucionadores de programação não-linear assume duas funções continuamente diferenciáveis

Como as funções não são nem uma vez continuamente diferenciáveis, você não pode nem usar os métodos tradicionais de descida de gradiente sem dificuldade. Os algoritmos de programação não linear não suaves são mais lentos do que seus equivalentes suaves. $\max$

Possível não convexidade

Seu problema pode ser não-convexo, porque na "forma padrão" para programas não lineares (ou seja, expressando todas as restrições na forma ), as restrições problemáticas em sua formulação são $\mathbf{g}(\mathbf{x}) \leq \mathbf{0}$

U_{i j} - max_{k} {U_{i k}, U_{k j}} \leq 0, \forall i, j, k .

$U_{ij} - \max_{k}\{U_{ik}, U_{kj}\} \leq 0, \quad \forall i,j,k.$

Essas funções são côncavas.

Prova: Nesse caso, as funções e são ambas convexas. A soma das funções convexas é convexa, e multiplicar uma função convexa por -1 resulta em uma função côncava. (QED.) $-U_{ij}$ $\max_{k}\{U_{ik}, U_{kj}\}$

Como Tim ressalta, apenas porque é não-convexo não significa que seu problema seja realmente não-convexo, mas se você estiver tentando resolver um problema de otimização para otimizar globalmente, poderá garantir apenas que um solucionador de otimização convexo retornará um ótimo global se o seu problema for convexo. Se você realmente deseja um ótimo global, caberia a você determinar se seu conjunto viável é convexo (ou não). Na ausência de tais informações, você deve assumir que seu problema pode não ser convexo e usar algoritmos que não dependem de informações de convexidade. Mesmo assim, a não suavidade e a falta de uma boa reformulação são questões muito maiores. $\mathbf{g}$

Opções para resolver o problema

Aceite possivelmente encontrar uma solução viável. Nesse caso, faça o que Aron disse e substitua com
$U_{i j} \leq max_{k} {U_{i k}, U_{k j}}, \forall i, j, k$ $U_{ij} \leq \max_{k}\{U_{ik}, U_{kj}\} , \quad \forall i,j,k$ que podem ser reexpressos como duas desigualdades separadas usando uma reformulação padrão do LP. O problema resultante será uma restrição de LP do problema que você deseja resolver; ela deve ser resolvida rapidamente em relação ao seu problema original e, se houver uma solução, essa solução será viável para o seu problema original e seu valor de função objetivo será um limite inferior ao valor ideal de função objetivo de seu problema original. $U_{i j} \leq min_{k} {U_{i k}, U_{k j}}, \forall i, j, k,$ $U_{ij} \leq \min_{k}\{U_{ik}, U_{kj}\} , \quad \forall i,j,k,$
Tente sua sorte em sua formulação, como é o caso de um solucionador de pacotes para programas não suaves. Não tenho muita experiência com esses tipos de solucionadores. (Um colega meu os usa em sua pesquisa.) Provavelmente são lentos, pois não podem usar informações derivadas. (Eu acho que eles usam informações de gradiente generalizadas do subgradiente ou de Clarke.) Também é improvável que você consiga resolver grandes instâncias de problemas com um solucionador de pacotes.

— Geoff Oxberry
fonte

11

Geoff, coisas boas; isso atinge os pontos principais e oferece muitas idéias e sugestões construtivas. Eu votei. Mas você parece estar tratando a não-convexidade como algo separado do fato de que, como você diz, "não há reformulação padrão das restrições máximas em um problema de minimização que eu conheço". Mas, de fato, o primeiro é precisamente o motivo pelo qual o último não é possível. Restrições não convexas não podem ser expressas em programação linear --- ponto final! Este é um problema não convexo e precisará ser reformulado como um problema de número inteiro misto ou alguma outra heurística aplicada.

— Michael Grant

@ MichaelGrant: Eu argumentei esse argumento nas revisões 1 e 2 há mais de um ano e, em seguida, entrei em um longo tópico de comentários sobre minha afirmação de que o problema não é convexo. (Veja a resposta de Tim abaixo.) Como me lembro, na época, Tim argumentou que uma desigualdade

com

côncava não torna um conjunto viável não-convexo. Não sei por que, porque, por definição, um programa convexo deve ser capaz de ser expresso de modo que

para

convexo. Eu cansei de discutir com Tim sobre isso; Eu deveria reverter algumas das minhas edições anteriores.

g (x) \leq 0

$\mathbf{g}(x) \leq \mathbf{0}$

g

$\mathbf{g}$

g (x) \leq 0

$\mathbf{g}(\mathbf{x}) \leq \mathbf{0}$

g

$\mathbf{g}$

— Geoff Oxberry

11

É verdade que funções de restrição não convexas podem descrever conjuntos convexos (de fato, a noção de quaseiconvexidade cobre a maioria desses casos). Mas o fato é que

descreve um conjunto não convexo em

. Portanto, a alegação de Tim é irrelevante para esse problema específico. Também é concebível que a interseção de conjuntos não convexos acabe sendo convexa, mas é uma ocorrência improvável.

x \leq max {y, z}

$x \le \max\{y,z\}$

(x, y, z)

$(x,y,z)$

— Michael Grant

11

Sim, você pode provar essa afirmação em particular porque esse conjunto é o hipógrafo de

, e o conjunto definido pelo hipógrafo de uma função é convexo se a função for côncava.

max {y, z}

$\max\{y,z\}$

— Geoff Oxberry 23/03

3

A solução para sua pergunta é . $-\infty$

Seja Comoe suas restrições são lineares em, qualquer múltiplo positivodesatisfaz as restrições. Portanto,.

U = (\begin{matrix} 1 & \dots & 1 \\ ⋮ & ⋮ \\ 1 & \dots & 1 \end{matrix}) .

$U=\left(\begin{matrix} 1&\cdots &1\\ \vdots & & \vdots\\1&\cdots&1\end{matrix}\right).$

A \cdot vec (U)

$A\cdot\mbox{vec}(U)$

U

$U$

t

$t$

\pm U

$\pm U$

min_{V} (A \cdot vec (V)) \leq m i n_{t} (A \cdot vec (t U)) = - \infty

$\min_V(A\cdot\mbox{vec}(V)) \le min_{t}(A\cdot \mbox{vec}(tU))=-\infty$

— Último folego
fonte

Definitivamente, uma solução para a questão apresentada. Meu palpite é que o OP apresentará alguma restrição de não-negatividade em

; nesse caso, o valor ótimo da função objetiva pode não ser

.

U

$U$

- \infty

$-\infty$

— Geoff Oxberry

@GeoffOxberry: Verdadeiro. Mesmo com restrições de positividade em

a resposta é

. A forma como posou implica que ele é realmente uma questão de otimização da matriz a la

.

U

$U$

\leq 0

$\le 0$

2 tr ({\hat{A}}^{*} U) = ‖ \hat{A} - U ‖^{2} - ‖ \hat{A} ‖^{2} - ‖ U ‖^{2}

$2\mbox{tr}(\hat{A}^\ast U)=\|\hat{A}-U\|^2-\|\hat{A}\|^2-\|U\|^2$

— Deathbreath

2

A fim de formular as restrições , criamos variáveis binárias , , . Seja o limite da variável , basta adicionar as seguintes restrições: $f \le \max \{ f_1, f_2,...,f_n \}$ $n$ $b_i \in \{0,1\}$ $1 \le i \le n$ $M$ $f$

1) $f \le f_i + (1-b_i) M, \forall i$

2) $\sum_i b_i = 1$

Normalmente, defina se pudermos estimar o valor de . $M := max_i f_i - min_i f_i$ $f_i$

— Kevin
fonte

1

x_{i} <= max (a_{i 1}, a_{i 2}, . . ., a_{i n})

$x_i <= \max(a_{i1}, a_{i2}, ..., a_{in})$

x_{i} <= s_{i}

$x_i <= s_i$

s_{i} >= a_{i 1}

$s_i >= a_{i1}$

s_{i} >= a_{i 2}

$s_i >= a_{i2}$

. . .

$...$

s_{i} >= a_{i n}

$s_i >= a_{in}$

c * max (s_{i} - max (a_{i}), 0)

$c*\max(s_i-\max(a_i), 0)$

s_{i} - max (a_{i})

$s_i-\max(a_i)$

c

$c$

$s_i>=\max(a_i)$ $x_i=s_i$ $s_i-\max(a_i)$ para problemas que entram na região inviável.)

— Wolfgang Bangerth
fonte

É uma boa ideia. Supondo que sua prova seja aprovada, o problema passa a mover a não linearidade e a não suavidade das restrições para o objetivo, as quais ainda são qualidades indesejáveis em uma formulação.

— 22812 Geoff Oxberry

a_{i j}

$a_{ij}$

(x_{i}, a_{i 1}, a_{i 2}, . . ., a_{i n})

$(x_i,a_{i1},a_{i2},...,a_{in})$

(x_{i}, s_{i}, a_{i 1}, a_{i 2}, . . ., a_{i n})

$(x_i,s_i,a_{i1},a_{i2},...,a_{in})$

1

Não consigo encontrar o botão de comentário ...

$log(x)<5$

Se for um conjunto convexo, você poderá realizar uma descida gradiente em sua função objetivo, usando algo como o_projection_algorithm de Dykstra para projetar de volta no espaço de restrições.

— Tim
fonte

Votado para o comentário sobre funções côncavas; Eu deveria ter pensado mais sobre a minha explicação. Projetar no conjunto viável é uma possibilidade, embora não tenha certeza se você pode aplicar esses algoritmos com restrições não suaves.

— precisa

x^{2} + y^{2} < 5

$x^2+y^2<5$

"Problemas não-convexos só são difíceis de NP se tiverem um número NP de possíveis soluções." NP significa "polinomial não determinístico". Estou completamente perdido sobre o que você está falando. Em segundo lugar, mencionei concavidade porque funções lineares são côncavas e convexas; a função não é convexa. Só porque a função é não suave e linear por partes não exclui imediatamente a possibilidade de uma reformulação de LP existir.

— 22612 Geoff Oxberry

U_{i j} \leq min_{k} {U_{i k}, U_{k j}}

$U_{ij} \leq \min_{k}\{U_{ik}, U_{kj}\}$

Desculpe, tive que abreviar o comentário, então usei NP para não-polinomial e P para polinonomial. O ponto era que a otimização não convexa nem sempre é difícil para o NP. É difícil para NP se o número de soluções possíveis for pior que o polinomial. Desculpe a confusão :) Você está certo sobre a reformulação como linear. Você parecia dizer "Consequentemente, não há como reformular seu programa como um programa linear", devido à não-convexidade, eu estava apenas observando que não está relacionado à convexidade, mas à linearidade.

— Tim

0

$-\infty$ $0$

$U \ge 0$ $A$ $n$ $-\infty$ $0$

$a \le b \le c$ $c \le \max(a,b)$ $b=c$ $i,j,k$

$U_{ij} < U_{jk} = U_{ik}$
$U_{ik} < U_{jk} = U_{ij}$
$U_{jk} < U_{ik} = U_{ij}$
$U_{ij} = U_{jk} = U_{ik}$

$t$ $G(t)$ $U_{ij}=t$ $U_{ij}=U_{j k}=t$ $\ell$ $U_{j \ell}=t$ $U_{i\ell}=U_{k\ell}=t$ $G(t)$

— ps
fonte