Estatísticas e Big Data

Há uma abundância de recursos conhecidos oferecendo conselhos sobre visualização de dados. (Por exemplo, Tufte, Stephen Few et al. , Nathan Yau .) Mas para quais campos podemos procurar respostas para perguntas como estas: A crítica do gráfico de pizza é relevante na prática? As pessoas são muito melhores na …

9 data-visualization  interpretation  terminology  presentation 

Gostaria de desenhar com eficiência amostras de sujeitas à restrição de que .x∈Rdx∈Rdx \in \mathbb{R}^dN(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma)||x||2=1||x||2=1||x||_2 = 1

9 distributions  normal-distribution  sampling  multivariate-normal  importance-sampling 

Me pediram para propor um curso de desenho experimental para estudantes avançados de agronomia e ecologia. Eu nunca fiz esse curso e fiquei surpreso ao descobrir que o curso poderia ser mais apropriadamente chamado de "Além da ANOVA de mão única" e que abrange o material que aprendi em um …

9 references  experiment-design  teaching 

Estou tentando entender a arquitetura das RNNs. Encontrei este tutorial que foi muito útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagem: Como isso se encaixa em uma rede de feed-forward? Essa imagem é apenas outro nó em cada camada?

9 neural-networks  lstm 

Na verdade, esse é um dos problemas da 4ª edição da Econometria básica de Gujarati (Q3.11) e diz que o coeficiente de correlação é invariável em relação à mudança de origem e escala, que é onde , , , são constantes arbitrárias.corr(aX+b,cY+d)=corr(X,Y)corr(aX+b,cY+d)=corr(X,Y)\text{corr}(aX+b, cY+d) = \text{corr}(X,Y)aaabbbcccddd Mas minha pergunta principal é …

9 self-study  correlation  linear-algebra  mathematical-statistics 

Eu estava pensando em resolver Lasso através de métodos de subgradiente de baunilha. Mas li pessoas sugerindo o uso da descida proximal do gradiente. Alguém pode destacar por que o GD proximal, em vez de os métodos do subgradiente de baunilha, são usados ​​no Lasso?

9 machine-learning  optimization  lasso  gradient-descent 

Muito se tem falado sobre a importância das distribuições normais na natureza. Muitas medidas, como altura ou peso, são distribuídas aproximadamente normal. Mas nenhum deles é exatamente normal, pelo que entendi. Considerando que a distribuição normal é uma das distribuições máximas de entropia , parece plausível que a natureza "goste". …

9 normal-distribution  normality-assumption 

Estou tentando agrupar conjuntos de dados diferentes usando algoritmos não supervisionados (clustering). O problema é que tenho muitos recursos (~ 500) e uma pequena quantidade de casos (200-300). Até agora, costumava fazer apenas problemas de classificação para os quais sempre rotulava dados como conjuntos de treinamento. Lá, usei algum critério …

9 r  clustering  feature-selection  unsupervised-learning 

Seja uma variável aleatória discreta, levando seus valores em . Gostaria de dividir pela metade essa variável, ou seja, para encontrar uma variável aleatória , como:N YXXXNN\mathbb{N}YYY X= Y+ Y∗X=Y+Y∗X = Y + Y^* onde é uma cópia independente de . YY∗Y∗Y^*YYY Estou me referindo a esse processo como metade …

9 random-variable 

O que você pensa sobre o uso da regressão para projetar fora do intervalo de dados? Se temos certeza de que segue uma forma linear ou de modelo de potência, o modelo não poderia ser útil além do intervalo de dados? Por exemplo, tenho um volume impulsionado pelo preço. Deveríamos …

9 regression  dataset  linear-model 

Estou tentando reduzir a dimensionalidade e o ruído de um conjunto de dados executando o PCA no conjunto de dados e jogando fora os últimos PCs. Depois disso, quero usar alguns algoritmos de aprendizado de máquina nos PCs restantes e, portanto, quero normalizar os dados equalizando a variação dos PCs …

9 variance  pca  factor-rotation 

Estou tentando converter minha coluna de fator em variáveis ​​fictícias: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels <- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250 pointsBin.lte300 # 741 1 0 0 0 0 # 407 1 …

9 r  categorical-data  categorical-encoding 

Considere um modelo de regressão linear: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, que εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b) , ou seja , A distribuição de Laplace com 0 parâmetro de 000média bbb , são todos independentes entre si. Considere uma estimativa …

9 regression  laplace-distribution 

Ao usar o CV com dobra k para selecionar entre os modelos de regressão, geralmente calculo o erro CV separadamente para cada modelo, juntamente com o erro padrão SE, e seleciono o modelo mais simples dentro de 1 SE do modelo com o menor erro CV (o 1 regra de …

9 regression  cross-validation  model-selection 

As redes de codificadores automáticos parecem ser muito mais complicadas do que as redes MLP classificadoras normais. Depois de várias tentativas usando Lasagne, tudo o que recebo na saída reconstruída é algo que se assemelha, na melhor das hipóteses, a uma média borrada de todas as imagens do banco de …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders