Estatísticas e Big Data

Correlação, rrr , é uma medida de associação linear entre duas variáveis. O coeficiente de determinação, , é uma medida de quanto da variabilidade em uma variável pode ser "explicada por" variação na outra.r2r2r^2 Por exemplo, se é a correlação entre duas variáveis, então . Portanto, 64% da variabilidade em …

12 regression  correlation  r-squared 

Eu tenho um conjunto de dados que está claramente aumentando à medida que o tempo passa (taxa de câmbio de uma moeda, dados mensais ao longo de 20 anos), minha pergunta é: Posso prejudicar os dados e depois diferenciá-los também para torná-los estacionários, se eles forem prejudiciais? não consegue isso? …

12 time-series  stationarity 

Quero comparar dois métodos diferentes para detectar alterações de status em uma análise de sobrevivência. Um grupo de sujeitos está sendo seguido por um período mais longo (muitos anos) e dois métodos de exame foram utilizados para examinar se ocorreu uma alteração de status; um método foi usado para examinar …

12 survival  paired-data 

Estou tentando obter uma intuição de por que aumentar o número de recursos pode reduzir o desempenho. Atualmente, estou usando um classificador LDA que apresenta melhor desempenho bivariado entre certos recursos, mas pior ao analisar mais recursos. Minha precisão de classificação é realizada usando um xval estratificado de 10 vezes. …

12 classification  feature-selection 

Estou tendo um problema com a sintaxe Stata. Eu preciso fazer a seguinte regressão: y=ax+bz+c(xz)+ey=ax+bz+c(xz)+ey = ax + bz + c(xz) + e onde e z são instrumentados e também o termo de interação x z usa os valores instrumentados de x e z .xxxzzzxzxzxzxxxzzz Apenas gerar os valores previstos …

12 stata  interaction  instrumental-variables 

Acabei de me deparar com essa ótima análise, que é interessante e bonita visualmente: http://www.nytimes.com/interactive/2012/11/02/us/politics/paths-to-the-white-house.html Estou curioso para saber como essa "árvore de caminhos" pode ser construída usando R. Quais dados e algoritmos são necessários para construir uma árvore de caminhos? Obrigado.

12 r  data-visualization  politics 

Estou com problemas para entender estatísticas completas suficientes? Seja uma estatística suficiente.T= Σ xEuT=ΣxEuT=\Sigma x_i Se com probabilidade 1, para alguma função , então é uma estatística suficiente.E[ g( T) ] = 0E[g(T)]=0 0E[g(T)]=0ggg Mas o que isso significa? Eu já vi exemplos de uniforme e Bernoulli (página 6 http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf …

12 self-study  estimation  intuition  decision-theory 

Em uma regressão logística apenas com termos lineares e quadráticos, se eu tiver um coeficiente linear e um coeficiente quadrático β 2 , posso dizer que existe um ponto de viragem da probabilidade em - β 1 / ( 2 β 2 ) ?β1β1\beta_1β2β2\beta_2−β1/(2β2)−β1/(2β2)-\beta_1 / (2\beta_2)

12 interpretation  logit  polynomial 

Usei stl () em R para decompor os dados de contagem em componentes de tendência, sazonal e irregular. Os valores de tendência resultantes não são mais números inteiros. Tenho as seguintes perguntas: Stl () é uma maneira apropriada de dessazonalizar os dados da contagem? Como a tendência resultante não é …

12 r  time-series  poisson-distribution 

O AIC é definido como , em que é o estimador de probabilidade máxima é a dimensão do espaço do parâmetro. Para a estimativa de , geralmente se negligencia o fator constante da densidade. Ou seja, o fator que não depende dos parâmetros, a fim de simplificar a probabilidade. Por …

12 model-selection  aic  nested-models 

Eu tenho dados com um número mínimo de recursos que não mudam e alguns recursos adicionais que podem mudar e ter um grande impacto no resultado. Meu conjunto de dados fica assim: Os recursos são A, B, C (sempre presente) e D, E, F, G, H (às vezes presentes) A …

12 machine-learning  feature-selection 

Para um dado conjunto de dados, o spread é frequentemente calculado como o desvio padrão ou como o IQR (intervalo inter-quartil). Enquanto a standard deviationé normalizado (escores z, etc.) e, portanto, pode ser usado para comparar a dispersão de duas populações diferentes, esse não é o caso do IQR, pois …

12 nonparametric  mathematical-statistics  standard-deviation  descriptive-statistics  normalization 

Suponha que eu tenha uma mistura finita de muitos gaussianos com pesos, meios e desvios padrão conhecidos. Os meios não são iguais. A média e o desvio padrão da mistura podem ser calculados, é claro, uma vez que os momentos são médias ponderadas dos momentos dos componentes. A mistura não …

12 normal-distribution  mixture  distance 

O meu entendimento é os picaretas florestais aleatórios aleatoriamente mtry variáveis para construir cada árvore de decisão. Portanto, se mtry = ncol / 3, então cada variável será usada em média em 1/3 das árvores. E 2/3 das árvores não as usarão. Mas e se eu souber que uma única …

12 r  random-forest  parameterization 

Podemos interpretar a probabilidade posterior obtida de um classificador que gera um valor de classe previsto e uma probabilidade (por exemplo, regressão logística ou Naive Bayes) como algum tipo de pontuação de confiança atribuída a esse valor de classe previsto?

12 probability  logistic  naive-bayes