Estatísticas e Big Data

Na análise de cluster, como calculamos a pureza? Qual é a equação? Não estou procurando um código para fazer isso por mim. Seja cluster ke classe j.c jωkωk\omega_kcjcjc_j Então a pureza é praticamente precisa? parece que estavam somando a quantidade de classe verdadeiramente classificada por cluster sobre o tamanho da …

15 clustering 

Tenho dados sobre os funcionários de uma grande empresa italiana há dez anos e gostaria de ver como a diferença de gênero nos ganhos entre homens e mulheres mudou ao longo do tempo. Para esse propósito, eu OLS agrupado: onde é o log de ganhos por ano, inclui covariáveis ​​que …

15 hypothesis-testing  estimation  econometrics  fixed-effects-model 

Então, eu tenho brincado com SVMs e me pergunto se isso é uma boa coisa a fazer: Eu tenho um conjunto de recursos contínuos (0 a 1) e um conjunto de recursos categóricos que converti em variáveis ​​fictícias. Nesse caso em particular, codifico a data da medição em uma variável …

15 categorical-data  svm  feature-selection  linear-model  feature-construction 

Eu tenho um conjunto de dados de séries temporais multivariadas, incluindo variáveis ​​biológicas e ambientais em interação (além de possivelmente algumas variáveis ​​exógenas). Além da sazonalidade, não há uma clara tendência de longo prazo nos dados. Meu objetivo é ver quais variáveis ​​estão relacionadas entre si. A previsão não é …

15 r  time-series  var  seasonality 

Esta questão fornece uma definição quantitativa de entropia cruzada, em termos de sua fórmula. Estou procurando uma definição mais fictícia, diz a wikipedia: Na teoria da informação, a entropia cruzada entre duas distribuições de probabilidade mede o número médio de bits necessários para identificar um evento a partir de um …

15 entropy  information-theory 

Gostaria de combinar as saídas do lmer (realmente glmer) com um exemplo binomial de brinquedo. Eu li as vinhetas e acredito que entendo o que está acontecendo. Mas aparentemente eu não. Depois de ficar preso, consertei a "verdade" em termos dos efeitos aleatórios e fui atrás da estimativa dos efeitos …

15 r  mixed-model  optimization  lme4-nlme 

Para que o CLT se mantenha, precisamos da distribuição que queremos aproximar para ter média e variância finita . Seria verdade que, para o caso da distribuição de Cauchy, cuja média e variância são indefinidas, o Teorema do Limite Central falha em fornecer uma boa aproximação, mesmo que assintoticamente?σ 2μμ\muσ2σ2\sigma^2

15 probability  central-limit-theorem  asymptotics  cauchy 

Tenho dificuldade em derivar o Hessiano da função objetivo, , em regressão logística em que é: l(θ)l(θ)l(\theta)l(θ)l(θ)l(\theta)l(θ)=∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]l(θ)=∑i=1m[yilog⁡(hθ(xi))+(1−yi)log⁡(1−hθ(xi))] l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right] hθ(x)hθ(x)h_\theta(x) é uma função logística. O hessiano é . Tentei derivá-lo calculando , mas não me era óbvio como chegar à notação matricial …

15 logistic 

Nas últimas semanas, tenho tentado entender o MCMC e o (s) algoritmo (s) Metropolis-Hastings. Toda vez que acho que entendo, percebo que estou errado. A maioria dos exemplos de código que eu acho on-line implementa algo que não é consistente com a descrição. ie: Eles dizem que implementam Metropolis-Hastings, mas …

15 mcmc  metropolis-hastings 

Digamos que eu tenha um classificador de regressão logística. No aprendizado em lote normal, eu teria um termo regularizador para evitar o excesso de ajustes e manter meus pesos pequenos. Eu também normalizava e dimensionava meus recursos. Em um ambiente de aprendizado on-line, estou recebendo um fluxo contínuo de dados. …

15 machine-learning  normalization  regularization  online 

Recentemente, recebi a seguinte pergunta por e-mail. Postarei uma resposta abaixo, mas estava interessado em ouvir o que os outros pensavam. Você chamaria a regressão logística de teste não paramétrico? Meu entendimento é que simplesmente rotular um teste como não paramétrico, porque seus dados normalmente não são distribuídos, é insuficiente. …

15 hypothesis-testing  logistic  nonparametric 

Eu não sou muito bom em estatística, então peço desculpas se esta for uma pergunta simplista. Estou ajustando uma curva de alguns dados, e às vezes os meus dados melhor se encaixa uma exponencial negativa na forma , e às vezes o ajuste é mais perto de um * e …

15 variance  model-selection  python  curve-fitting  covariance-matrix 

Vi métricas de erro diferentes usadas nas competições do Kaggle: RMS, média quadrada, AUC, entre outras. Qual é a regra geral da escolha de uma métrica de erro, ou seja, como você sabe qual métrica de erro usar para um determinado problema? Existem diretrizes?

15 machine-learning  classification  error 

Ao ler as anotações de Blake Master sobre a palestra de Peter Thiel sobre startups, deparei-me com essa metáfora da fronteira tecnológica: Imagine o mundo como sendo coberto por lagoas, lagos e oceanos. Você está em um barco, em um corpo de água. Mas é extremamente nebuloso, então você não …

15 distributions  queueing  interarrival-time 

Estou tentando encontrar o máximo local para uma função de densidade de probabilidade (encontrada usando o densitymétodo de R ). Não consigo fazer um método simples de "olhar ao redor dos vizinhos" (onde se olha em torno de um ponto para ver se é um máximo local em relação aos …

15 r  pdf  splines  maximum