Como obter os valores desconhecidos

19

Alguém pode me ajudar com o seguinte problema?

Quero encontrar alguns valores $a_i,b_j$ (mod $N$ ) em que $i=1,2,…,K, j=1,2,…,K$ (por exemplo $K=6$ ), dada uma lista de valores de $K^2$ que correspondem às diferenças $a_i-b_j\pmod N$ (por exemplo $N=251$ ), sem conhecer a relação correspondente concreta. Como os valores $a_i,b_j\pmod N$ não são definidos de forma exclusiva, dadas as diferenças $a_i-b_j\pmod N$ , procuramos por qualquer atribuição válida de valores.

Definitivamente, tentando cada permutação dos números $K^2$ na lista (totalmente $K^2!$ Casos possíveis) e resolvendo as equações modulares com $a_i,b_j$ pois as variáveis são inviáveis.

De fato, esse problema surge em um artigo sobre a análise criptográfica de uma versão anterior do esquema de assinatura da NTRU ( http://eprint.iacr.org/2001/005 ). No entanto, o autor escreveu apenas uma frase "Um algoritmo simples de retorno encontra uma solução ..." (na Seção 3.3) e, portanto, alguém pode dar mais explicações? Além disso, o autor também mencionou que “todo deslocamento circular $\{((a_i+M)\mod N,(b_i+M)\mod N\}_{i=1}^K$ ou uma troca $(\{(N-1-b_i,N-1-a_i)\}_{i=1}^K)$ resulta no mesmo padrão de $a_i-b_j\mod N$ ”e esta afirmação é útil?

— um convidado
fonte

7

Observe que é impossível recuperar

a_{i}, b_{j}

$a_i,b_j$ , pois se você adicionar alguma constante

C

$C$ a todos os números, as diferenças permanecerão as mesmas.

— Yuval Filmus

11

@Yuval: Isso já está incluído na última frase da descrição. Eu acho que apenas uma solução é necessária, pois várias podem existir.

— Domotorp 18/04

2

@Yuval Desculpe por não apontar que os

a_{i}, b_{j}

$a_i,b_j$ também devem ser tomados como

modulares

N

$N$ . Portanto, não há soluções infinitas.

— um convidado

@domotorp Sim, encontrar uma das soluções está OK.

— um convidado

11

Talvez o OP possa esclarecer que o

a_{i}

$a_i$ ,

b_{j}

$b_j$ é usado no módulo

N

$N$ no início do post: talvez no título ou no primeiro parágrafo. Também vale a pena mencionar o problema com a constante

C

$C$ As duas coisas me confundiram quando comecei a ler.

— Juan Bermejo Vega

4

Aqui está uma sugestão, para e . Nos é dada uma lista . Comece pegando um deles, sem perda de generalidade . Sem perda de generalidade , e obtemos o valor de . Agora pegue outro e espere que ele tenha o formato (isso acontece com probabilidade ) e deduza . $K = 6$ $N = 251$ $a_i - b_j \pmod{N}$ $a_1-b_1$ $b_1=0$ $a_1$ $a_2-b_1$ $5/35 = 1/7$ $a_2$

Nesta fase, sabemos . Nosso próximo objetivo é procurar por para . Para cada candidato , se então também deve estar na lista. Se , a probabilidade de que também esteja na lista é aproximadamente . Portanto, se encontrarmos algum candidato para o qual também esteja na lista, provavelmente . Dessa forma, podemos recuperar com alguma certeza. $a_1,a_2,b_1$ $a_1-b_j$ $j \neq 1$ $a_i-b_j$ $i=1$ $(a_i-b_j)+(a_2-a_1)=a_2-b_j$ $i \neq 1$ $(a_i-b_j)+(a_2-a_1)$ $33/251$ $a_i-b_j$ $(a_i-b_j)+(a_2-a_1)$ $i=1$ $b_2$

Nesta fase, sabemos . Da mesma maneira que recuperamos , podemos recuperar com razoável certeza. Podemos recuperar procurando um candidato para o qual e estejam na lista. Como temos mais , nossa probabilidade de falha diminui consideravelmente. Continuamos e encontramos . $a_1,a_2,b_1,b_2$ $b_2$ $a_3$ $b_3$ $a_i-b_j$ $(a_i-b_j)+(a_2-a_1)$ $(a_i-b_j)+(a_3-a_1)$ $a$ $b_3,a_4,b_4,a_5,b_6,a_6,b_6$

Em qualquer ponto deste algoritmo, podemos ter adivinhado algo errado, e isso acabará resultando em contradição (digamos que em algum momento, não há um bom candidato ). Em seguida, voltamos atrás e tentamos outra possibilidade; se esgotarmos todas as possibilidades, recuaremos novamente e tentaremos outra possibilidade (para um estágio diferente do algoritmo); e assim por diante. $a_i-b_j$

É um bom exercício para programar esse algoritmo - essa é provavelmente a única maneira de entender como implementar o backtracking corretamente. Essa também é a única maneira de saber se esse algoritmo funciona na prática.

— Yuval Filmus
fonte

Obrigado e também codificarei esse retorno para entender melhor. Talvez o autor desse artigo original tenha usado um método semelhante porque também mencionou "retroceder".

— um hóspede de

Desculpe por esquecer de postar meu comentário na sua resposta! Também implementei o método que você sugeriu (em C ++). A conclusão é que seu algoritmo funciona muito bem e uma das soluções pode ser encontrada muito rapidamente (em menos de um segundo no meu PC). E desta vez, eu posso entender melhor os procedimentos de retorno. Muito obrigado!

— um hóspede

Por que não posso "@Yuval" no meu último comentário ?! Desculpe, mas eu tentei várias vezes.

— um convidado

Talvez você possa compartilhar o código on-line, para que outras pessoas que leem o jornal tenham acesso a ele.

— Yuval Filmus

5

Atualização : A descrição abaixo é para um problema diferente (no qual você tem todas as distâncias em pares em um conjunto em vez de distâncias em pares entre dois conjuntos distintos). Vou deixar assim mesmo, pois está intimamente relacionado.

Esse problema é chamado de problema de canal e é um caso especial do problema geral de incorporação do -torus. Também está intimamente relacionado ao problema da rodovia, no qual as diferenças de distâncias são absolutas (e não um número de módulo). $d$

Não se sabe se o problema da faixa admite um algoritmo de politempo. Existem vários algoritmos de pseudo-poli-tempo para questões relacionadas. A melhor referência (infelizmente uma antiga) é o artigo de Lemke, Skiena e Smith .

— Suresh Venkat
fonte

11

Eu acho que esse problema é diferente. No problema do anel viário, conhecemos todas as distâncias aos pares, aqui só o conhecemos entre dois pontos que estão em grupos diferentes. Embora isso pareça menos informações, pode de fato ajudar a resolver o problema.

— Domotorp 18/04

Ah sim. é um gráfico bipartido. bom ponto.

— Suresh Venkat

Gráfico bipartido? Algo como. Talvez eu deva tentar o problema dessa maneira, mas não tenho a linha de pensamento concreta agora.

— um hóspede de

3

Aqui está uma observação que eu acho que lhe dá uma posição, possivelmente suficiente para resolver o problema.

Suponha que temos quatro diferenças , , , que surgem como as diferenças entre pares entre dois 's e dois ' s. Chame isso de quarteto de diferenças. Observe que temos um relacionamento não trivial: $a_1-b_1$ $a_1-b_2$ $a_2-b_1$ $a_2-b_2$ $a$ $b$

(a_{1} - b_{1}) - (a_{1} - b_{2}) = (a_{2} - b_{1}) - (a_{2} - b_{2}) (\mod N) .

$(a_1-b_1)-(a_1-b_2) = (a_2-b_1)-(a_2-b_2) \pmod N.$

Você pode tentar usar esse relacionamento para identificar quartetos em potencial da lista de . Por exemplo, escolha quatro diferenças fora da lista; se eles não satisfazem o relacionamento acima, então definitivamente não surgem de uma estrutura de quarteto; se eles satisfazem o relacionamento, podem surgir de um quarteto. $K^2$

Existem várias maneiras de tirar as coisas daqui, mas suspeito que isso será suficiente.

Suspeito especialmente que, para seus exemplos de configurações de parâmetros, o problema será muito fácil, porque o teste acima para reconhecer um quarteto provavelmente não terá muitos falsos positivos. De todas as formas de escolher 4 diferenças da lista, haverá quartetos (que satisfarão todos os relacionamentos) e o restante são não quartetos (que satisfazem a relação com probabilidade , heuristicamente). Portanto, esperamos ver cerca de falsos positivos, ou seja, 4-tuplas que passam no teste mesmo que não sejam quartetos. Para seus parâmetros, isso significa que temos 225 quartetos e ${K^2 \choose 4}$ ${K \choose 2}^2$ $1/N$ $({K^2 \choose 4}-{K \choose 2}^2)/N$ $(58905-225)/251 \approx 234$ outros falsos positivos; Assim, cerca de metade das quatro tuplas que passam no teste são na verdade quartetos. Isso significa que o teste acima é uma boa maneira de reconhecer quartetos. Depois de reconhecer os quartetos, você pode realmente ir à cidade recuperando a estrutura da lista de diferenças.

— DW
fonte

@ DW: Obrigado, mas agora estou me perguntando o próximo passo depois que todos os quartetos possíveis (totalmente 225 + 234 = 459) forem encontrados. Deveria procurar três quartetos não sobrepostos e testar se eles podem constituir uma solução possível? Como fazer isso com eficiência? Talvez não seja tão difícil, porque não haverá muitas sobreposições.

— um hóspede

@aguest, boa pergunta! Não me lembro do que estava pensando na época. Acho que me lembro de pensar que uma abordagem poderia ser começar com um quarteto e procurar todas as outras que se sobrepõem em duas diferenças (por exemplo, decorrentes de onde ), mas eu não saber para onde ir a partir daí (como filtrar falsos positivos).

a_{1}, a_{j}, b_{1}, b_{2}

$a_1,a_j,b_1,b_2$

j \neq 2

$j\ne 2$

— DW

3

Aqui está uma abordagem diferente, baseada na localização iterativa de números que não podem aparecer entre . Chame um conjunto um excesso de aproximação da é se sabemos que . Da mesma forma, é um overapproximation da 's, se sabemos que . Obviamente, quanto menor é, o mais útil desta aproximação é sobre-, e o mesmo se passa com . Minha abordagem baseia-se em refinar iterativamente essas super-aproximações, ou seja, reduzir iterativamente o tamanho desses conjuntos (pois descartamos cada vez mais valores como impossíveis). $\{a_1,\dots,a_6\}$ $A$ $a$ $\{a_1,\dots,a_6\} \subseteq A$ $B$ $b$ $\{b_1,\dots,b_6\} \subseteq B$ $A$ $B$

O núcleo dessa abordagem é um método de refinamento : dada uma super-aproximação para os 's e uma super-aproximação para os ' s, encontre uma nova super-aproximação para os 's de modo que . Em particular, normalmente será menor que , então isso nos permite refinar a super-aproximação para os 's. $A$ $a$ $B$ $b$ $A^*$ $a$ $A^* \subsetneq A$ $A^*$ $A$ $a$

Por simetria, essencialmente o mesmo truque nos permitirá refinar nossa super-aproximação para os 's: dada uma super-aproximação para os ' s e uma super-aproximação para os 's, produzirá um novo super-aproximação -proximação para os 's. $b$ $A$ $a$ $B$ $b$ $B^*$ $b$

Então, deixe-me dizer como fazer o refinamento. Depois, reunirei tudo para obter um algoritmo completo para esse problema. A seguir, denota o multi-conjunto de diferenças, ou seja, ; vamos nos concentrar em encontrar um refinado excesso de aproximação , dado . $D$ $D=\{a_i-b_j:1 \le i,j \le 6\}$ $A^*$ $A,B$

Como calcular um refinamento. Considere-se uma única diferença . Considere o conjunto . Com base no nosso conhecimento de que é uma super aproximação dos , sabemos que pelo menos um elemento de deve ser um elemento de . Portanto, pode-se tratar cada um dos elementos em como uma "sugestão" para um número de, eventualmente, incluir em . Então, vamos varrer todas as diferenças e, para cada uma, identificar quais números são "sugeridos" por . $d \in D$ $d+B=\{d+y : y \in B\}$ $B$ $b$ $d+B$ $\{a_1,\dots,a_6\}$ $d+B$ $A$ $d \in D$ $d$

Agora vou observar que o número certamente será sugerido pelo menos 6 vezes durante esse processo. Por quê? Como a diferença está em , e quando a processarmos, será um dos números sugeridos (desde que garantimos que , certamente incluirá ). Da mesma forma, a diferença aparece em algum lugar em e fará com que seja sugerido novamente. Dessa forma, vemos que o valor correto de será sugerido pelo menos seis vezes. O mesmo vale para e $a_1$ $a_1-b_1$ $D$ $a_1$ $b_1 \in B$ $(a_1-b_1)+B$ $a_1$ $a_1-b_2$ $D$ $a_1$ $a_1$ $a_2$ $a_3$ , e assim por diante.

Portanto, seja o conjunto de números que foram sugeridos pelo menos 6 vezes. Esta é a certeza de ser um excesso de aproximação da 's, com os comentários acima. $A^*$ $a^*$ $a$

Como uma optimização, que pode filtrar todas as sugestões que não estão presentes em imediatamente: por outras palavras, pode-se tratar a diferença como sugerindo todos os valores . Isso garante que teremos . Esperamos que seja estritamente menor que ; sem garantias, mas se tudo correr bem, talvez seja. $A$ $d$ $(d+B)\cap A$ $A^* \subseteq A$ $A^*$ $A$

Juntando isso, o algoritmo para refinar para produzir é o seguinte: $A,B$ $A^*$

Deixe . Este é o conjunto múltiplo de sugestões. $S = \cup_{d \in D} (d+B)\cap A$
Conte quantas vezes cada valor aparece em . Deixe ser o conjunto de valores que aparecem, pelo menos, 6 vezes em . (Isso pode ser implementado de forma eficiente através da construção de um array dos 251 inicialmente, inicialmente todos zero, e cada vez que o número de é sugerido, você incrementa ; no final você varrer procura de elementos cujo valor é 6 ou maior) $S$ $A^*$ $S$ $a$ $s$ $a[s]$ $a$

Um método semelhante pode ser construído para refinar para obter . Você coisas basicamente reversa acima e virar alguns sinais: por exemplo, em vez de , você olha para . $A,B$ $B^*$ $d+B$ $-d+A$

Como calcular uma super-aproximação inicial. Para obter nossa super-aproximação inicial, uma idéia é assumir (wlog) que . Segue-se que cada valor deve aparecer em algum lugar entre , portanto a lista de diferenças pode ser usada como nossa super-aproximação inicial para os 's. Infelizmente, isso não nos dá uma super-aproximação muito útil para os 's. $b_1=0$ $a_i$ $D$ $D$ $a$ $b$

Uma abordagem melhor é adivinhar, adicionalmente, o valor de um dos 's. Em outras palavras, assumimos (WLOG) que , e usar como o nosso excesso de aproximação inicial dos 's. Então, nós adivinhar qual desses 36 valores é de fato um dos 's, dizem . Isso então nos dá uma super-aproximação para os 's. Usamos essa super-aproximação inicial , depois a refinamos iterativamente até a convergência e testamos se o resultado está correto. Repetimos até 36 vezes, com 36 suposições diferentes em (em média, 6 suposições devem ser suficientes) até encontrarmos uma que funcione. $a$ $b_1=0$ $A=D$ $a$ $a$ $a_1$ $B=a_1-D$ $b$ $A,B$ $a_1$

Um algoritmo completo. Agora podemos ter um algoritmo completo para calcular . Basicamente, derivamos uma super-aproximação inicial para e , depois refinamos iterativamente. $a_1,\dots,a_6,b_1,\dots,b_6$ $A$ $B$

Faça um palpite: para cada , que . Faça o seguinte: $z \in D$ $a_1=z$
1. -aproximação inicial: Defina e . $A=D$ $B=z-D$
2. Refinamento iterativo: Aplique repetidamente o seguinte até a convergência:
  - Refine para obter uma nova super-aproximação dos 's. $A,B$ $B^*$ $b$
  - Refine para obter um novo excesso de aproximação das 's. $A,B^*$ $A^*$ $a$
  - Seja e . $A:= A^*$ $B:= B^*$
3. Verifique o sucesso: se os conjuntos resultantes tiverem tamanho 6, teste se são uma solução válida para o problema. Se estiverem, pare. Caso contrário, continue com o loop sobre os valores candidatos de . $A,B$ $z$

Análise. Isso vai funcionar? Eventualmente, convergirá para e ou ficará bloqueado sem resolver completamente o problema? A melhor maneira de descobrir é provavelmente testá-lo. No entanto, para seus parâmetros, sim, espero que seja eficaz. $A=\{a_1,\dots,a_6\}$ $B=\{b_1,\dots,b_6\}$

Se usarmos o método # 1, desde quenão são muito grandes, heuristicamente, espero que os tamanhos dos conjuntos diminuam monotonicamente. Considere derivando de . Cada diferença sugerevalores; um deles está correto e o outro pode ser tratado (heuristicamente) como números aleatórios. Se é um número que não aparece entre os 's, qual é a probabilidade de que ele sobreviva à filtragem e seja adicionado a ? Bem, esperamos que ser sugerido sobre $|A|,|B|$ $A^*$ $A,B$ $d$ $|B|$ $|B|-1$ $x$ $a$ $A^*$ $a$ $(|B|-1) \times 36/251$ vezes no total (em média, com desvio padrão sobre a raiz quadrada disso). Se , a probabilidade de um errado sobreviver à filtragem deve ser de cerca de ou mais (usando a aproximação normal para o binômio, com correção de continuidade). (A probabilidade é menor se for menor; por exemplo, para , espero .) Espero que o tamanho de seja aproximadamente , que melhorará estritamente a super aproximação, uma vez que é estritamente menor que. Por exemplo, se , com base nessas heurísticas, espero $|B|\le 36$ $x$ $p=0.4$ $|B|$ $|B|=30$ $p\approx 0.25$ $A^*$ $p (|A|-6) + 6$ $|A|$ $|A|=|B|=36$ $|A^*|\approx 18$ , que é uma grande melhoria em relação a. $|A|$

Portanto, prevejo que o tempo de execução será muito rápido. Espero que cerca de 3-5 iterações de refinamento sejam suficientes para convergência, normalmente, e cerca de 6 suposições em provavelmente sejam suficientes. Cada operação de refinamento envolve talvez alguns milhares de leituras / gravações de memória, e fazemos isso talvez 20 a 30 vezes. Então, espero que seja muito rápido, para os parâmetros que você especificou. No entanto, a única maneira de descobrir com certeza é experimentá-lo e ver se funciona bem ou não. $z$

— DW
fonte

@ DW: Muito obrigado pela sua resposta longa e pelo esforço que você fez para digitar tantas palavras !!! De acordo com sua descrição, seu algoritmo aqui está bastante correto. E eu vou codificá-lo para testar a eficiência agora.

— um hóspede de

@ DW: Oi, eu implementei sua descrição em C ++. O algoritmo funciona rapidamente ea etapa de refinamento faz reduzir os tamanhos dos conjuntos originais e . No entanto, a convergência parece não ser tão perfeita. De fato, para cada palpite , os tamanhos finais de e ainda são maiores que 10, de acordo com a minha produção recorde pelo programa. O número mais frequente de elementos existentes quando (e ) não pode ser aprimorado por repetições adicionais de refinamento é 11, mas dificilmente vejo um número abaixo de 10. No entanto, isso tornou o problema solucionável ao tentar cada 6 elementos escolhidos de

A

$A$

B

$B$

z \in D

$z\in D$

A^{*}

$A^*$

B^{*}

$B^*$

A^{*}

$A^*$

B^{*}

$B^*$

— um convidado

@DW: (Cotinued) final e para cada palpite (embora eu não tenha implementado a última etapa no meu PC). A quantidade total de computação será de cerca de , eu estimo. Muito obrigado!

A^{*}

$A^*$

B^{*}

$B^*$

z

$z$

2^{20}

$2^{20}$

— um hóspede de

Desculpe, mas meu último comentário é muito longo e tenho que dividi-lo em dois.

— um hóspede de