Limite inferior para testar a proximidade na norma

11

Eu queria saber se havia algum limite inferior (em termos de complexidade da amostra) conhecido pelo seguinte problema:

Dado o acesso de amostra da Oracle a duas distribuições desconhecidas $D_1$ , $D_2$ em $\{1,\dots,n\}$ , teste (whp) se

$D_1=D_2$
$\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu et al. [BFR + 00] mostrou que as amostras eram suficientes, mas não encontrei nenhuma menção a um limite inferior? $O\left(\frac{1}{\epsilon^4}\right)$

Acho que sempre se poderia mostrar um limite inferior $\Omega(\frac{1}{\epsilon^2})$ reduzindo a tarefa de distinguir uma moeda justa versus influenciada por $\epsilon$ nesse problema (simulando uma distribuição suportada em apenas dois e respondendo às consultas do testador de acordo com os lançamentos de moedas do iid), mas isso ainda deixa um espaço quadrático ...

(Outro ponto em que eu estaria interessado é um limite inferior na estimativa (até um aditivo $\epsilon$ ) dessa distância $L_2$ - novamente, não encontrei nenhuma referência a esse resultado na literatura)

Obrigado pela ajuda,

— Clemente C.
fonte

Esse problema de promessa parece muito semelhante ao chamado diferença estatística de Sahai e Vadhan, que é um problema completo para a classe SZK (conhecimento estatístico zero); no entanto, eles usam a distância . cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Edit: também eu acho que eles estão supondo que você tenha um circuito de computação as distribuições, não acessar o Oracle.)

L_{1}

$L_1$

— usul

Oi, como mencionado em outro comentário, a diferença entre e norma é realmente crucial aqui - mais, no ther papel, eles montaram uma explícita (e não arbitrária) limiar (em uma das observações, eles explicam que esse limite precisa satisfazer alguma restrição específica); e deseja distinguir x (que está de alguma forma mais próximo da estimativa de teste / distância tolerante do que o "teste usual", onde você deseja testar vs. (mas para qualquer fixo )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Clement C.

6

Parece que amostras - como usul mostrou abaixo - é suficiente para o teste, de modo que a complexidade da amostra é exatamente ; na verdade, verifica-se este número de amostras nos mesmo o suficiente para aprender até um aditivo wrt o norma. $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Vamos a função densidade empírica obtida por estiramento iid amostras e configuração Então que . O $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ 's (para ) não são independentes, mas podemos escrever para que, para , e aplicando a desigualdade de Markov

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Clemente C.
fonte

(Eu estava me referindo à resposta de usul começando com "Vou tentar reparar meu erro anterior, mostrando algo [...] oposto" - que está realmente acima deste. Eu não esperava isso :)) Quanto ao aprendizado limite superior, pode ser mostrado que o algoritmo mais ingênuo (ou seja, aquele que extrai amostras e gera a densidade empírica definida) produz uma distribuição que é, com probabilidade constante, perto de na distância .

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Clement C.

Acabei de editar minha resposta.

— Clement C.

3

Tentarei reparar o erro anterior, mostrando algo oposto - que amostras são suficientes (o limite inferior de está quase apertado)! Veja o que você pensa .... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

A intuição chave começa com duas observações. Primeiro, para que as distribuições tenham uma distância de , deve haver pontos com alta probabilidade ( ). Por exemplo, se tivéssemos pontos de probabilidade , teríamos . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

Segundo, considere distribuições uniformes com uma distância de . Se tivéssemos pontos de probabilidade , cada um deles diferiria por e amostras seriam suficientes. Por outro lado, se tivéssemos pontos, cada um deles precisaria diferir por e novamente por amostras (um número constante por ponto) é suficiente. Portanto, podemos esperar que, entre os pontos de alta probabilidade mencionados anteriormente, sempre exista algum ponto diferente "suficiente" que desenhe o distinga. $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Algoritmo. Dado e um parâmetro de confiança , seja . Desenhe amostras de de cada distribuição. Seja o respectivo número superior e inferior de amostras para o ponto . Se houver algum ponto para o qual e , declare o distribuições diferentes. Caso contrário, declare-os da mesma forma. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Os limites de correção e confiança ( ) dependem do seguinte lema, que diz que todo o desvio na distância vem de pontos cujas probabilidades diferem por . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Afirmação. Suponha . Let. Deixe . Então $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Prova . Temos Vamos amarrar a segunda soma; desejamos maximizar sujeito a . Como a função é estritamente convexa e crescente, podemos aumentar o objetivo assumindo e aumentando por enquanto diminui por . Assim, o objetivo será maximizado com o maior número possível de termos em seus valores máximos, e o restante em

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . O valor máximo de cada termo é e há no máximo termos desse valor (já que eles somam no máximo ). Então

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Reivindicação . Seja . Se , existe pelo menos um ponto com e . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Prova . Primeiro, todos os pontos em têm por definição (e não pode estar vazio para pela reivindicação anterior). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

Segundo, porque , temos ou, reorganizando, então a desigualdade vale por pelo menos um ponto em . Agora escolha . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

Reivindicação (falsos positivos) . Se , nosso algoritmo os declara diferentes com probabilidade no máximo . $D_1 = D_2$ $e^{-\Omega(M)}$

Esboço . Considere dois casos: e . No primeiro caso, o número de amostras de não excederá em qualquer distribuição: O número médio de amostras é e um limite de cauda indica que com probabilidade , as amostras de não excedem sua média por um aditivo ; se formos cuidadosos em manter o valor no limite da cauda, podemos unir o limite sobre eles, independentemente de quantos pontos houver (intuitivamente, o limite diminui exponencialmente no número de pontos possíveis). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

No caso , podemos usar um limite de Chernoff: Ele diz que, quando coletamos amostras e um ponto é desenhado com a probabilidade , a probabilidade de diferir da média por é no máximo . Aqui, deixe , para que a probabilidade seja limitada por . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Portanto, com probabilidade , (para ambas as distribuições), o número de amostras de está dentro de de sua média . Portanto, nosso teste não capta esses pontos (eles são muito próximos um do outro) e podemos unir o limite de todos os deles. $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

Reivindicação (falsos negativos) . Se , nosso algoritmo os declara idênticos com probabilidade no máximo . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Esboço . Há algum ponto com e . O mesmo limite de Chernoff que na reivindicação anterior diz que, com probabilidade , o número de amostras de difere de sua média em no máximo . Isso é para a distribuição (WLOG) que tem ; mas há uma probabilidade ainda menor do número de amostras de da distribuição $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ diferindo de sua média por esse valor aditivo (como a média e a variação são menores).

Portanto, com alta probabilidade, o número de amostras de de cada distribuição está dentro de de sua média; mas suas probabilidades diferem em , portanto, seus meios diferem em $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Portanto, com alta probabilidade, para o ponto , o número de amostras difere em pelo menos . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Para concluir os esboços, precisaríamos mostrar com mais rigor que, para grande o suficiente, o número de amostras de é próximo o suficiente para que, quando o algoritmo usa vez de , ele não altera nada (o que deve ser direto, deixando espaço de manobra nas constantes). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— usul
fonte

Oi, Obrigado por isso - eu tenho algumas perguntas sobre o algoritmo e a análise (sobre alguns pontos que não tenho certeza de obter): supondo que eu só queira no final uma probabilidade constante de de sucesso, isso significa que constante, se eu entendi corretamente (a menos que eu não tenha entendido o que era)? Portanto, neste caso, voltando-se para : de acordo com o algoritmo, ele se torna - está correto?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Clement C.

@ClementC. Desculpe, eu não estava muito claro! A alegação é que, se amostras , a probabilidade de estar errado é , então, para uma probabilidade constante de estar errada, suas amostras .

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

OK, foi o que eu reuni. Examinarei a prova com isso em mente - obrigado novamente pelo tempo que você gastou nisso!

— Clement C.

1

Você pode começar tentando resolver isso para o caso . Tenho certeza de que amostras serão necessárias e suficientes, nesse caso. $n=2$ $\Theta(1/\epsilon^2)$

É possível que você considere útil converter entre a distância e a distância (distância total da variação). $L_2$ $L_1$

Sabe-se que, com uma amostra, se as distribuições são conhecidas, a distância total da variação caracteriza perfeitamente a vantagem com a qual podemos distinguir de . Assim, se a distância total da variação for grande e as distribuições forem conhecidas, é possível construir um teste correto com alta probabilidade; se a distância total da variação for pequena, não se pode. Não sei o que se pode dizer sobre o caso em que a distância total da variação é grande, mas as distribuições são desconhecidas. $D_1$ $D_2$
Em seguida, você pode olhar para as distribuições de produtos, e . Usando a distância total de variação (distância ), parece não haver bons limites relacionados a . No entanto, ao usar a distância , acredito que existem boas estimativas de como uma função de . (Infelizmente, não consigo encontrar uma referência específica a essas estimativas / limites, por isso espero não estar me lembrando.) Também existem limites conhecidos que permitem estimar a distância em função da distância . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Portanto, uma abordagem que você pode tentar seria vincular , depois disso, vincular . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Não sei se isso levará a algum lugar bom ou não; é apenas uma ideia. Provavelmente, os autores do artigo que você cita já tentaram ou consideraram algo assim.

Possivelmente referências úteis:

— DW
fonte

Oi, obrigado pela sua resposta! No entanto, estou interessado em um limite inferior assintótico, quando . Em particular, a relação entre e normas envolve um fator - o que significa que eles são, de facto equivalente para constante, mas assintoticamente muito diferente; usar a L_1 como proxy não é uma opção, tanto quanto posso dizer (quanto ao teste de proximidade na distância , a complexidade exata é conhecida por [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Clement C.

0

EDIT: isso está incorreto! Veja a discussão nos comentários - vou apontar a falha abaixo.

Acho que podemos dizer que são necessários. $\frac{1}{\epsilon^4}$

Defina . Seja a distribuição uniforme (probabilidade de cada ponto ) e seja diferente do uniforme por uma quantidade aditiva em cada ponto. Verifique se a distância é . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Portanto, temos que distinguir uma moeda justa de lados de uma moeda com lados de . Eu acho que isso deve ser pelo menos tão difícil quanto distinguir uma moeda justa com lados de uma moeda com lados , o que exigiria amostras. Edit: isto está incorreto! A moeda é polarizada de forma aditiva , mas é polarizada multiplicativamente por um fator constante. Como DW aponta, isso significa que um número constante de amostras por ponto distingue de . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

Observe que é o mais longe possível para empurrar essa linha de argumento. Concretamente, suponha que tentamos aumentar para, digamos, . Na distribuição uniforme, cada ponto tem probabilidade . Mas em , precisamos que cada ponto varie de uniforme por . Isso não é possível desde . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Mais abstratamente, suponha que queremos que cada ponto varie de uniforme por . Então, o máximo que podemos definir como seria . Para obter uma distância de , precisamos satisfazer que a raiz quadrada da soma das distâncias é , então , então então , e obtemos . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Além disso, acho que o mesmo argumento diz que, se estivermos interessados na distância com , exigiremos , portanto escolheríamos , portanto o número de amostras seria . Eu acho que isso faz sentido como um limite que é independente de . Ele se aproxima do infinito como . Se você estivesse tentando distinguir duas distribuições na distância de sem limite em , eu faria infinitamente grande e espalharia a diferença arbitrariamente fina, para que você nunca pudesse distingui-las ( $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ isto é, nenhum número fixo de amostras é suficiente para todos os ). Também se aproxima de como ; isso faz sentido como um limite porque, para a norma , podemos definir e deixar que cada ponto seja diferente por ; precisamos amostrar alguns pontos vezes para garantir que difere do uniforme, o que levará amostras de . $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— usul
fonte

1. Você realmente quer dizer que difere do uniforme em em cada ponto? Eu suspeito que seja um erro de digitação e você quis dizer .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. Não acredito que distinto de exija amostras. Parece-me que as amostras são suficientes. Explicação (intuição): suponha que reunamos amostras e conte quantas vezes cada valor possível ocorre. Se eles vieram de , cada um deve ocorrer 100 vezes (com std dev 10). Se eles vieram de , cada um deve ocorrer 200 vezes (std dev 14) para metade deles / 0 vezes (std dev 0) para a outra metade. Isso é fácil o suficiente para distinguir entre os dois, se você souber que está lidando com ou .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) você está certo! Fixo. (2) Como você diz, eu concordo, mas acho que com diferentes opções de constantes é mais difícil. Estou imaginando algo assim: , então coloca a probabilidade em cada ponto. Então difere em em cada ponto (verifique se a distância é ), para colocar a probabilidade ou em cada ponto.

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

Acho que amostras ainda são suficientes. Reúna amostras e conte quantas vezes cada valor possível ocorre. Para , cada um deve ocorrer 1.000.000 de vezes (std dev ). Para , cada um deve ocorrer 900.000 vezes (std dev ) ou 1.100.000 vezes (std dev ). Isso é fácil o suficiente para distinguir entre os dois, se sabemos que estamos lidando com ou , porque a diferença entre 1.000.000 e 1.100.000 são 100 desvios padrão, ou seja, enormes.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@ DW eu pensei mais sobre isso - você está certo. Se suas médias diferem por um fator multiplicativo constante, um número constante de amostras por ponto deve distingui-las. É o fator multiplicativo e não aditivo que importa. Essa abordagem fornece apenas um limite inferior de .

1 / ϵ^{2}

$1/\epsilon^2$

— usul