Estatísticas e Big Data

Contexto : Imagine que você teve um estudo longitudinal que mediu uma variável dependente (DV) uma vez por semana durante 20 semanas em 200 participantes. Embora eu esteja interessado em geral, os DVs típicos em que penso incluem o desempenho no trabalho após contratação ou várias medidas de bem-estar após …

32 repeated-measures  random-effects-model  latent-class 

Há uma pessoa atrás de uma cortina - não sei se a pessoa é do sexo feminino ou masculino. Eu sei que a pessoa tem cabelos longos e que 90% de todas as pessoas com cabelos longos são do sexo feminino Eu sei que a pessoa tem um tipo sanguíneo …

32 conditional-probability  probability 

Antecedentes : quero classificar as áreas residenciais de uma cidade em grupos com base em suas características socioeconômicas, incluindo densidade de unidades habitacionais, densidade populacional, área de espaços verdes, preço da habitação, número de escolas / centros de saúde / creches, etc. Quero entender em quantos grupos diferentes as áreas …

32 clustering  pca  k-means  dimensionality-reduction 

Estou um pouco confuso com uma palestra sobre regressão linear dada por Andrew Ng no Coursera sobre aprendizado de máquina. Lá, ele deu uma função de custo que minimiza a soma dos quadrados como: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Eu entendo de onde vem o . Eu acho que ele …

32 regression  machine-learning  loss-functions 

Há muito tempo os computadores conseguem jogar xadrez usando uma técnica de "força bruta", procurando até uma certa profundidade e depois avaliando a posição. O computador AlphaGo, no entanto, usa apenas uma RNA para avaliar as posições (ele não faz nenhuma pesquisa em profundidade até onde eu sei). É possível …

32 neural-networks  deep-learning  reinforcement-learning  games 

Estou usando o SVM para classificação e estou tentando determinar os parâmetros ideais para os núcleos linear e RBF. Para o kernel linear, utilizo a seleção de parâmetros com validação cruzada para determinar C e, para o kernel RBF, uso a pesquisa em grade para determinar C e gama. Eu …

32 classification  svm  kernel-trick 

Na análise de componentes principais (PCA), pode-se escolher a matriz de covariância ou a matriz de correlação para encontrar os componentes (de seus respectivos vetores próprios). Eles fornecem resultados diferentes (cargas de PC e pontuações), porque os vetores próprios entre as duas matrizes não são iguais. Meu entendimento é que …

32 pca  factor-analysis 

Para problemas de regressão, vi pessoas usando "coeficiente de determinação" (também conhecido como R ao quadrado) para executar a seleção do modelo, por exemplo, encontrar o coeficiente de penalidade apropriado para a regularização. No entanto, também é comum usar "erro ao quadrado médio" ou "erro ao quadrado médio da raiz" …

32 regression  r-squared 

Como calculo o erro relativo quando o valor verdadeiro é zero? Digamos que eu tenho e . Se eu definir erro relativo como:x t e s txtrue=0xtrue=0x_{true} = 0xtestxtestx_{test} relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} = \frac{x_{true}-x_{test}}{x_{true}} Então o erro relativo é sempre indefinido. Se, em vez disso, eu usar a definição: …

32 error  measurement-error 

O algoritmo PCA pode ser formulado em termos da matriz de correlação (suponha que os dados XXX já tenham sido normalizados e estamos considerando apenas a projeção no primeiro PC). A função objetivo pode ser escrita como: maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. Isso é bom e …

32 pca  optimization 

Eu achei o Project Euler http://projecteuler.net/ incrivelmente útil no aprendizado de linguagens de programação. Existe um site semelhante para o Machine Learning? Eu vi http://www.kaggle.com/ , mas não é tão acessível para iniciantes quanto o Project Euler.

32 teaching 

Qual é a fórmula para variação do produto de variáveis ​​dependentes? No caso de variáveis ​​independentes, a fórmula é simples: var(XY)=E(X2Y2)−E(XY)2=var(X)var(Y)+var(X)E(Y)2+var(Y)E(X)2var(XY)=E(X2Y2)−E(XY)2=var(X)var(Y)+var(X)E(Y)2+var(Y)E(X)2 {\rm var}(XY) = E(X^{2}Y^{2}) - E(XY)^{2} = {\rm var}(X){\rm var}(Y) + {\rm var}(X)E(Y)^2 + {\rm var}(Y)E(X)^2 Mas qual é a fórmula para variáveis ​​correlacionadas? A propósito, como posso encontrar …

32 correlation  variance 

Eu gostaria de regredir um vetor B contra cada uma das colunas da matriz A. Isso é trivial se não houver dados ausentes, mas se a matriz A contiver valores ausentes, minha regressão contra A é restrita a incluir apenas linhas em que todas valores estão presentes (o comportamento padrão …

32 r  missing-data  linear-model 

Eu encontrei extensa literatura propondo todos os tipos de critérios (por exemplo, Glenn et al. 1985 (pdf) e Jung et al. 2002 (pdf)). No entanto, a maioria delas não é tão fácil de implementar (pelo menos da minha perspectiva). Estou usando o scipy.cluster.hierarchy para obter uma hierarquia de cluster e …

32 clustering 

Quero ajustar um GLMM multinível com uma distribuição Poisson (com excesso de dispersão) usando R. No momento, estou usando o lme4, mas notei que recentemente a quasipoissonfamília foi removida. Já vi em outro lugar que você pode modelar a super dispersão aditiva para distribuições binomiais adicionando uma interceptação aleatória com …

32 r  mixed-model  poisson-distribution  lme4-nlme  overdispersion