Estatísticas e Big Data

Enquanto fazia uma EDA, decidi usar um gráfico de caixa para ilustrar a diferença entre dois níveis de um fator. A maneira como o ggplot processou o gráfico da caixa foi satisfatória, mas um pouco simplista (primeiro gráfico abaixo). Enquanto pesquisava as características das caixas, comecei a experimentar entalhes. Entendo …

11 data-visualization  ggplot2  eda 

As cadeias de Markov fazem sentido para mim; posso usá-las para modelar mudanças de estado probabilísticas em problemas da vida real. Depois vem o HMM. Diz-se que os HMMs são mais adequados para modelar muitos problemas do que os MCs. No entanto, os problemas mencionados pelas pessoas são um pouco …

11 hidden-markov-model 

Ao implementar um autoencoder com rede neural, a maioria das pessoas usará sigmóide como função de ativação. Podemos usar ReLU? (Como a ReLU não tem limite no limite superior, basicamente significa que a imagem de entrada pode ter um pixel maior que 1, diferente dos critérios restritos para o autoencoder …

11 machine-learning  neural-networks  deep-learning  autoencoders 

Plotamos o seguinte código com a função stl (Decomposição Sazonal de Séries Temporais de Loess): plot(stl(ts(rnorm(144), frequency=12), s.window="periodic")) Ele mostra uma variação sazonal significativa com dados aleatórios inseridos no código acima (função rnorm). Variação significativa é vista toda vez que é executada, embora o padrão seja diferente. Dois desses padrões …

11 time-series  seasonality  loess 

Se β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , pode ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumentar quando λλ\lambda aumenta? Eu acho que isso é possível. Embora ∥β∗∥1‖β∗‖1\|\beta^*\|_1 não aumente quando λλ\lambda aumenta (minha prova ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 pode aumentar. A figura abaixo mostra uma possibilidade. Quando λλ\lambda aumenta, se β∗β∗\beta^* viaja (linearmente) de PPP para QQQ , então ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumenta …

11 lasso 

Eu tenho um quadro de dados que contém valores em 4 colunas: Por exemplo: ID, price, click count,rating O que eu gostaria de fazer é "dividir" esse quadro de dados em N grupos diferentes, onde cada grupo terá um número igual de linhas com a mesma distribuição de preço, contagem …

11 r  distributions 

Como se pode avaliar a expectativa do CDF quadrado normal em forma fechada? E[Φ(aZ+b)2]=∫∞−∞Φ(az+b)2ϕ(z)dzE[Φ(umaZ+b)2]=∫-∞∞Φ(umaz+b)2ϕ(z)dz\mathbb{E}\left[\Phi\left(aZ+b\right)^{2}\right] = \int_{-\infty}^{\infty}\Phi\left(az+b\right)^{2}\phi(z)\,dz Aqui, , b são números reais, Z ∼ N ( 0 , 1 ) e ϕ ( ⋅ ) e Φ ( ⋅ ) são as funções de densidade e distribuição de uma variável …

11 mathematical-statistics 

Estou tendo problemas para entender esta frase: A primeira arquitetura proposta é semelhante ao feedforward NNLM, onde a camada oculta não linear é removida e a camada de projeção é compartilhada por todas as palavras (não apenas pela matriz de projeção); assim, todas as palavras são projetadas na mesma posição …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Estou trabalhando em um problema de classificação binária em que é muito mais importante não ter falsos positivos; muitos falsos negativos estão ok. Eu usei vários classificadores no sklearn, por exemplo, mas acho que nenhum deles tem a capacidade de ajustar explicitamente o tradeoff de recall de precisão (eles produzem …

11 classification  precision-recall 

Me deparei com o termo proximidade em florestas aleatórias. Mas não conseguia entender o que faz em florestas aleatórias. Como isso ajuda para fins de classificação?

11 machine-learning  random-forest 

Enquanto trabalhamos com séries temporais, às vezes detectamos e removemos a sazonalidade usando análise espectral. Sou realmente um iniciante em séries temporais e estou confuso por que alguém gostaria de remover a sazonalidade da série cronológica original? A remoção da sazonalidade não distorce os dados originais? Quais são os benefícios …

11 time-series  seasonality 

No meu trabalho, vi vários usos do teste exato de Fisher e fiquei imaginando quão bem ele se encaixa nos meus dados. Olhando para várias fontes, entendi como calcular a estatística, mas nunca vi uma explicação clara e formal da hipótese nula assumida. Alguém pode me explicar ou me encaminhar …

11 hypothesis-testing  chi-squared  multinomial  contingency-tables  fishers-exact 

Estou lendo um livro sobre aprendizado de máquina (Data Mining por Witten, et al., 2011) e me deparei com esta passagem: ... Além disso, diferentes distribuições podem ser usadas. Embora a distribuição normal seja geralmente uma boa opção para atributos numéricos, ela não é adequada para atributos com um mínimo …

11 machine-learning  distributions 

Então eu sei que, se queremos encontrar a distribuição de probabilidade de uma soma de variáveis ​​aleatórias independentes X+YX+YX + Y , podemos calculá-la a partir das distribuições de probabilidade de XXX e YYY , dizendo fX+Y(a)=∫∞x=−∞fX,Y(X=x,Y=a−x) dx=∫∞x=−∞fX(x)fY(a−x) dxfX+Y(a)=∫x=−∞∞fX,Y(X=x,Y=a−x) dx=∫x=−∞∞fX(x)fY(a−x) dxf_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = …

11 probability 

No presente documento , que as preocupações do comando "set semente", Stata pessoas discutem questões relacionadas com a definição de sementes ao gerar números pseudo-aleatórios. Um notável "não" é "não use em série a sequência de números naturais como sementes, porque isso tem um padrão e põe em risco a …

11 random-generation