Uma prova intuitiva / informal para LP Duality?

Qual seria uma boa prova informal / intuitiva para 'acertar o ponto inicial' sobre a dualidade do LP? Qual a melhor maneira de mostrar que a função objetivo minimizada é realmente o mínimo com uma maneira intuitiva de entender o limite?

A maneira como fui ensinado Dualidade apenas levou a um entendimento que tenho certeza de que é compartilhado por MUITAS pessoas que conheço: para cada problema de minimização correspondente, existe um problema de maximização equivalente que pode ser derivado pela inversão das restrições de desigualdade. Período. Essa "conclusão" da dualidade é o que parece persistir, mas não "por que isso é assim" (ou seja, como / por que existe um limite para a solução ótima).

Existe uma maneira de brincar com as desigualdades apenas para 'mostrar' o limite inferior / superior do ideal, o que poderia ser uma motivação para a prova?

Eu examinei o livro de Chvatal e alguns outros, mas não encontrei nada que pudesse ser entendido por noobs absolutos no LP. O mais próximo que cheguei foi do livro de algoritmos de Vazirani, onde ele fala sobre 'multiplicar as desigualdades por alguns números mágicos que mostram o limite' - não sei como reproduzir o efeito para um LP arbitrário.

linear-programming primal-dual

— Doutorado
fonte

Em esta resposta math.SE eu passar por um exemplo passo-a-passo de onde vem a dupla de - e por que - para um problema que tem a maioria das diferentes possibilidades que podem surgir com um LP. Talvez isso possa ajudar?

— Mike Spivey

Não sei por que você acha que o argumento de Vazirani não funciona para um LP geral. Pessoalmente, gosto dessa explicação o melhor de tudo.

— Suresh Venkat

Você está perguntando sobre a dualidade fraca ou a dualidade forte?

— Tsuyoshi Ito 24/01

Você pode obter intuição geométrica visualizando (em 2d, por exemplo) o que significa obter uma combinação linear de restrições. Por exemplo, desenhe as restrições e no plano. Combinações lineares dessas restrições fornecem para qualquer . Desenhe isso para vê-lo. Geralmente, a combinação linear de restrições fornece os meios-espaços de suporte do poliedro. Agora pergunte: por que um desses meios-espaços de apoio é sempre suficiente, por si só, para limitar o custo? Se você vê, é uma forte dualidade.

x \leq 1

$x \le 1$

y \leq 1

$y \le 1$

a x + b y \leq a + b

$ax + by \le a + b$

a, b \geq 0

$a,b \ge 0$

— Neal Young

@MikeSpivey - Eu desejo o seu comentário foi uma resposta :)

— PhD

Respostas:

Por desejo do OP, aqui está a resposta math.SE que eu vinculo no meu comentário acima.

Talvez valha a pena discutir de onde vem o dual em um problema de exemplo. Isso levará um tempo, mas espero que o dual não pareça tão misterioso quando terminarmos.

Suponha que você tenha um problema primordial da seguinte maneira.

P r i m a l = {\begin{matrix} max 5 x_{1} - 6 x_{2} \\ s . t . 2 x_{1} - x_{2} = 1 \\ x_{1} + 3 x_{2} \leq 9 \\ x_{1} \geq 0 \end{matrix}}

$Primal =\begin{Bmatrix} \max \ \ \ \ 5x_1 - 6x_2 \\ \ \ \ s.t. \ \ \ \ 2x_1 -x_2 = 1\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ x_1 +3x_2 \leq9\\ \ \ \ \ x_1 \geq 0\\ \end{Bmatrix}$

Agora, suponha que queremos usar as restrições do primal como uma maneira de encontrar um limite superior no valor ótimo do primal. Se multiplicarmos a primeira restrição por , a segunda por e as adicionarmos, obteremos para o lado esquerdo e para o lado direito. Como a primeira restrição é uma igualdade e a segunda é uma desigualdade, isso implica Mas, como , também é verdade que e, portanto, Portanto, é um limite superior do valor ótimo do problema primordial.

9

$9$

1

$1$

9 (2 x_{1} - x_{2}) + 1 (x_{1} + 3 x_{2})

$9(2x_1 - x_2) + 1(x_1 +3 x_2)$

9 (1) + 1 (9)

$9(1) + 1(9)$

19 x_{1} - 6 x_{2} \leq 18.

$19x_1 - 6x_2 \leq 18.$

x_{1} \geq 0

$x_1 \geq 0$

5 x_{1} \leq 19 x_{1}

$5x_1 \leq 19x_1$

5 x_{1} - 6 x_{2} \leq 19 x_{1} - 6 x_{2} \leq 18.

$5x_1 - 6x_2 \leq 19x_1 - 6x_2 \leq 18.$

18

$18$

Certamente, podemos fazer melhor que isso, no entanto. Em vez de apenas adivinhar e como multiplicadores, vamos deixá-los serem variáveis. Portanto, estamos procurando multiplicadores e para forçar $9$ $1$ $y_1$ $y_2$

5 x_{1} - 6 x_{2} \leq y_{1} (2 x_{1} - x_{2}) + y_{2} (x_{1} + 3 x_{2}) \leq y_{1} (1) + y_{2} (9) .

$5x_1 - 6x_2 \leq y_1(2x_1-x_2) + y_2(x_1 + 3x_2) \leq y_1(1) + y_2(9).$

Agora, para que esse par de desigualdades ocorra, o que tem de ser verdade sobre e ? Vamos pegar as duas desigualdades, uma de cada vez. $y_1$ $y_2$

A primeira desigualdade : $5x_1 - 6x_2 \leq y_1(2x_1-x_2) + y_2(x_1 + 3x_2)$

Temos que rastrear os coeficientes das variáveis e separadamente. Primeiro, precisamos que o coeficiente total no lado direito seja pelo menos . Obter exatamente seria ótimo, mas, como , algo maior que também satisfaria a desigualdade de . Matematicamente falando, isso significa que precisamos de . $x_1$ $x_2$ $x_1$ $5$ $5$ $x_1 \geq 0$ $5$ $x_1$ $2y_1 + y_2 \geq 5$

Por outro lado, para garantir a desigualdade para a variável , precisamos que o coeficiente total no lado direito seja exatamente . Como pode ser positivo, não podemos ir abaixo de , e como pode ser negativo, não podemos ir acima de (como o valor negativo de mudaria a direção da desigualdade). Portanto, para que a primeira desigualdade funcione para a variável , precisamos ter . $x_2$ $x_2$ $-6$ $x_2$ $-6$ $x_2$ $-6$ $x_2$ $x_2$ $-y_1 + 3y_2 = -6$

A segunda desigualdade :

y_{1} (2 x_{1} - x_{2}) + y_{2} (x_{1} + 3 x_{2}) \leq y_{1} (1) + y_{2} (9)

$y_1(2x_1-x_2) + y_2(x_1 + 3x_2) \leq y_1(1) + y_2(9)$

Aqui temos que rastrear as variáveis e separadamente. As variáveis vêm da primeira restrição, que é uma restrição de igualdade. Não importa se é positivo ou negativo, a restrição de igualdade ainda é válida. Assim, é irrestrito no sinal. No entanto, a variável vem da segunda restrição, que é menor ou igual à restrição. Se multiplicássemos a segunda restrição por um número negativo que mudaria de direção e a alteraria para uma restrição maior que ou igual. Para manter nosso objetivo de limitar o objetivo primordial, não podemos deixar isso acontecer. Então o $y_1$ $y_2$ $y_1$ $y_1$ $y_1$ $y_2$ $y_2$ A variável não pode ser negativa. Portanto, devemos ter . $y_2 \geq 0$

Finalmente, queremos tornar o lado direito da segunda desigualdade o menor possível, pois queremos o limite superior mais rígido possível no objetivo primordial. Então, queremos minimizar . $y_1 + 9y_2$

Juntando todas essas restrições em e , descobrimos que o problema de usar as restrições do primal para encontrar o melhor limite superior do objetivo primordial ideal implica resolver o seguinte programa linear: $y_1$ $y_2$

\begin{aligned} Minimize y_{1} + 9 y_{2} \\ subject to 2 y_{1} + y_{2} & \geq 5 \\ - y_{1} + 3 y_{2} & = - 6 \\ y_{2} & \geq 0. \end{aligned}

$\begin{align*} \text{Minimize }\:\:\:\:\: y_1 + 9y_2& \\ \text{subject to }\:\:\:\:\: 2y_1 + y_2& \geq 5 \\ -y_1 + 3y_2& = -6\\ y_2 & \geq 0. \end{align*}$

E esse é o dual.

Provavelmente vale a pena resumir as implicações desse argumento para todas as formas possíveis do primal e do dual. A tabela a seguir é retirada da p. 214 de Introdução à Pesquisa Operacional , 8ª edição, de Hillier e Lieberman. Eles se referem a isso como o método SOB, em que SOB significa Sensível, Ímpar ou Bizarro, dependendo da probabilidade de alguém encontrar essa restrição específica ou restrição variável em um problema de maximização ou minimização.

             Primal Problem                           Dual Problem
             (or Dual Problem)                        (or Primal Problem)

             Maximization                             Minimization

Sensible     <= constraint            paired with     nonnegative variable
Odd          =  constraint            paired with     unconstrained variable
Bizarre      >= constraint            paired with     nonpositive variable

Sensible     nonnegative variable     paired with     >= constraint
Odd          unconstrained variable   paired with     = constraint
Bizarre      nonpositive variable     paired with     <= constraint

— Mike Spivey
fonte

Ao elaborar a resposta de Mike e o comentário de Vazirani, você obtém o dual considerando a forma geral de uma prova de otimização da solução para o problema original. Suponha que você tenha um problema de maximização, dadas algumas desigualdades lineares, e sem perda de generalidade, suponha que você esteja tentando maximizar a variável . Dada uma solução em que , como sabemos que é ideal? Uma maneira é tentar obter um limite para tomando combinações lineares das desigualdades lineares. Algumas combinações lineares fornecem limites da forma , e você está tentando obter o melhor (mínimo) possível. A dualidade fraca afirma que $x$ $x = B$ $x$ $x \leq C$ $C$ $B \leq \min C$ , o que é óbvio por definição. Estados forte dualidade de que quando é finito, então . Isso significa que, se o máximo é , existe uma "razão" que você não pode ultrapassar , que também serve como prova de otimização. $B$ $B = \min C$ $B$ $B$

Este ponto de vista é realmente útil às vezes. Seja uma função de conjunto ( pega um conjunto e gera um número real) e são dois conjuntos. Suponha que você esteja tentando derivar uma desigualdade de várias desigualdades relacionadas à função (esse é um exemplo da vida real). Você escreve um programa linear no qual os valores de são as variáveis, é uma restrição e o objetivo é minimizar . A solução para este programa é (vamos assumir que é o melhor possível), e a solução para o dual fornece uma prova de $f$ $f$ $S,O$ $f(S) \geq (1-1/e) f(O)$ $f$ $f$ $f(O) = 1$ $f(S)$ $\min f(S) = 1-1/e$ $1-1/e$ $f(S) \geq 1-1/e$ .

Isso deixa em aberto a questão de por que a dualidade forte realmente se mantém. Existem duas provas desse fato para a programação linear, uma envolvendo o algoritmo simplex, o outro lema de Farkas. O lema de Farkas é provavelmente a maneira "correta" de entender a situação, reduzindo tudo a algum fato geométrico intuitivo. No entanto, confesso que essa intuição passa por minha cabeça.

Em situações mais gerais (digamos programação semidefinida), é necessário usar as condições mais gerais de Karush-Kuhn-Tucker (uma forma de multiplicadores de Lagrange) para obter a dupla e as condições para uma forte dualidade. Isso é tratado em textos sobre otimização não linear ou convexa.

— Yuval Filmus
fonte