Estatísticas e Big Data

O seguinte lema pode ser encontrado na Econometria de Hayashi : Lema 2.1 (convergência na distribuição e nos momentos): Seja o ésimo momento de e onde \ alpha_ {s} é finito (ou seja, um número real). Então:αsnαsn\alpha_{sn}sssznznz_{n}limn→∞αsn=αslimn→∞αsn=αs\lim_{n\to\infty}\alpha_{sn}=\alpha_{s}αsαs\alpha_{s} " zn→dzzn→dzz_{n} \to_{d} z " ⟹⟹\implies " αsαs\alpha_{s} é o sss ésimo momento …

7 distributions  econometrics  convergence  asymptotics  moments 

Estou tentando calcular o coeficiente de correlação de Pearson de acordo com esta fórmula em um grande conjunto de dados: Principalmente, meus valores estão entre -1 e 1, mas às vezes recebo números estranhos como: 1.0000000002 -3 E assim por diante. É possível ter dados estranhos que resultem nisso ou …

7 correlation  pearson-r  numerics 

Suponha que você tenha uma variável aleatória discreta com função de massa de probabilidade no suporte . Que função tal que maximiza Para evitar lidar com casos extremos, assuma .XXXp(x)=P(X=x)p(x)=P(X=x)p(x) = P(X=x)0,…,n0,…,n0,\ldots,nq(x)≥0q(x)≥0q(x)\ge 0∑nx=0q(x)=1∑x=0nq(x)=1\sum_{x=0}^n q(x) = 1E(log[q(X−1)+q(X)+q(X+1)])?E(log⁡[q(X−1)+q(X)+q(X+1)])? E(\log[q(X-1)+q(X)+q(X+1)])? P(X=0)=P(X=n)=0P(X=0)=P(X=n)=0P(X=0)=P(X=n)=0 Perguntas relacionadas: Eu acredito que o que maximiza a expectativa acima também …

7 probability  optimization  expected-value  kullback-leibler 

Eu tenho lido uma pilha de papéis sobre redes convolucionais e aprendizado por reforço. Lembro-me de ver um papel importante com uma forma não retangular da camada de convolução (a forma verde neste desenho bobo). Mas agora não consigo encontrá-lo. Pode ter sido algo semelhante ao artigo AlphaGo ou aprendizado …

7 references  conv-neural-network  reinforcement-learning 

A rede neural conhecida como " U-Net " (Ronneberger, Fischer e Brox 2015) foi uma técnica proeminente no recente concurso de Segmentação de Nervos por Ultrassom da Kaggle , onde pontuações altas foram atribuídas a algoritmos que criaram máscaras de pixel com alto grau de sobreposição. as regiões desenhadas à …

7 neural-networks  deep-learning  biostatistics  conv-neural-network  image-processing 

Estou criando um componente que visa calcular a média e a variação de uma métrica associada a eventos que ocorrem durante o tempo, mas com uma memória interna limitada. Imagine que os eventos são visitantes que entram em uma loja e a métrica é a idade deles. Durante o tempo, …

7 variance  online 

A curva de classificação do ano anterior para um exame que estarei fazendo é: Supondo que o exame tenha 100 (ou qualquer número de) perguntas cada uma com o mesmo peso, serão necessárias menos respostas corretas extras para subir percentis à medida que você se afasta da média? Por exemplo, …

7 normal-distribution  quantiles  curves 

Supondo que seja uma relação subjacente entre duas variáveis ​​em uma regressão OLS [teste de hipótese nula], qual é o impacto no valor p de duplicar o tamanho da amostra? (supondo que a amostra inicial seja representativa da população e a amostra subsequente também seja representativa). Obviamente, estou ciente de …

7 least-squares  power-analysis 

Por que a hipótese de regressão logística é vista como uma função de probabilidade? Entendo que o usamos para prever 0 ou 1, mas ainda assim, por que uma função (a hipótese) que gera números entre 0 e 1 pode ser considerada uma função de probabilidade? Isso é heurístico?

7 regression  logistic  generalized-linear-model 

Os "métodos do kernel" e "a reprodução de espaços de Hilbert do kernel" estão relacionados? Especificamente, o "kernel" usado no termo "métodos do kernel" é o mesmo (tipo de) "kernel" que o usado no termo "reproduzindo o espaço de Hilbert do kernel"? Observe que eu já verifiquei as páginas da …

7 machine-learning  terminology  kernel-trick 

Eu tenho uma tabela com duas colunas X e Y. Cada linha representa uma estatística agregada para uma instância. Apresento uma nova coluna como Z = X / Y, que é outra informação importante sobre a instância. Agora, quero apresentar as estatísticas gerais das instâncias (ou seja, Média). Aqui tenho …

7 interpretation  metric 

Eu tenho uma matriz de dados de imagem que é o número de exemplos de imagens é o número de pixels da imagem: , porque cada imagem é uma imagem 3 canais . Além disso, cada uma das 50000 imagens pertence a 1 de 10 classes possíveis. Ou seja, existem …

7 machine-learning  classification  neural-networks  pca  image-processing 

Quando um algoritmo de aprendizagem (por exemplo, classificação, regressão, clustering ou redução de dimensão) usa apenas o produto escalar entre pontos de dados , podemos usar implicitamente um mapeamento dimensional mais alto através do truque do kernel, troca de todos os casos em que o produto escalar ocorre pelo kernel …

7 regression  machine-learning  classification  kernel-trick 

(Esta é possivelmente uma pergunta boba, mas estou curioso.) O PDF gaussiano multivariado é tipicamente escrito algo como isto 1(2π)d|Σ|−−−−−−−√exp(−12(x−μ)TΣ−1(x−μ))1(2π)d|Σ|exp⁡(−12(x−μ)TΣ−1(x−μ)) \frac{1}{\sqrt{(2\pi)^{d}\lvert \boldsymbol\Sigma\rvert}} \exp\left(-\frac{1}{2}({\mathbf x}-{\boldsymbol\mu})^\mathrm{T}{\boldsymbol\Sigma}^{-1}({\mathbf x}-{\boldsymbol\mu}) \right) onde é a dimensão de \ mathbf x (por exemplo, o acima foi retirado da Wikipedia ).dddxx\mathbf x No entanto, parece-me que o fator …

7 normal-distribution  notation 

Eu sei que o método Inverso de Transformação nem sempre é uma boa opção para amostragem de distribuições, porque é um método analítico dependente da forma da função de distribuição. Por exemplo, a distribuição Gaussiana inversa e unidimensional é impossível de calcular, no entanto, a amostragem fornece bons resultados. Eu …

7 sampling  mcmc  metropolis-hastings  rejection-sampling