Estatísticas e Big Data

Em uma distribuição normal, a regra 68-95-99.7 dá muito significado ao desvio padrão, mas o que o desvio padrão significaria em uma distribuição não normal (multimodal ou distorcida)? Todos os valores de dados ainda estão dentro de 3 desvios padrão? Temos regras como a 68-95-99.7 para distribuições não normais?

40 normal-distribution  standard-deviation  skewness 

Gostaria de saber se alguém conhece alguma regra geral relativa ao número de amostras de bootstrap que se deve usar, com base nas características dos dados (número de observações, etc.) e / ou nas variáveis ​​incluídas?

40 bootstrap  inference  monte-carlo 

Digamos que eu tenha duas matrizes unidimensionais, uma1a1a_1 e uma2a2a_2 . Cada um contém 100 pontos de dados. uma1a1a_1 são os dados reais, e uma2a2a_2 é a previsão do modelo. Nesse caso, o valor de R2R2R^2 seria: R2= 1 - SSr e sSSt o t ( 1 ) .R2=1−SSresSStot (1). …

40 correlation  r-squared 

Na análise de dados bayesianos, os parâmetros são tratados como variáveis ​​aleatórias. Isso decorre da conceitualização subjetiva bayesiana de probabilidade. Mas os bayesianos reconhecem teoricamente que existe um verdadeiro valor de parâmetro fixo no 'mundo real?' Parece que a resposta óbvia é 'sim', porque tentar estimar o parâmetro seria quase …

40 probability  bayesian  parameterization 

Venho brincando com florestas aleatórias para regressão e estou tendo dificuldade em descobrir exatamente o que as duas medidas de importância significam e como elas devem ser interpretadas. A importance()função fornece dois valores para cada variável: %IncMSEe IncNodePurity. Existem interpretações simples para esses 2 valores? Em IncNodePurityparticular, isso é simplesmente …

40 r  machine-learning  random-forest  importance 

Estou tentando entender como a retropropagação funciona para uma camada de saída softmax / entropia cruzada. A função de erro de entropia cruzada é E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j com ttt e ooo como alvo e saída no neurônio jjj , respectivamente. A soma é sobre cada neurônio na camada de …

40 backpropagation  derivative  softmax  cross-entropy 

Eu tenho que encontrar um IC de 95% na mediana e outros percentis. Não sei como abordar isso. Eu uso principalmente R como uma ferramenta de programação.

40 r  confidence-interval  median 

"Big data" está em toda parte na mídia. Todo mundo diz que "big data" é algo importante para 2012, por exemplo, o KDNuggets faz pesquisas sobre tópicos importantes para 2012 . No entanto, tenho profundas preocupações aqui. Com o big data, todo mundo parece feliz apenas em conseguir alguma coisa …

40 data-mining  dataset  large-data  validation 

O que é uma variável supressora na regressão múltipla e quais podem ser as maneiras de exibir visualmente o efeito da supressão (sua mecânica ou sua evidência nos resultados)? Eu gostaria de convidar todos que têm um pensamento para compartilhar.

40 multiple-regression  data-visualization  geometry  suppressor 

Eu sou novo em estatística e atualmente lida com ANOVA. Realizo um teste ANOVA em R usando aov(dependendVar ~ IndependendVar) Eu recebo - entre outros - um valor F e um valor p. Minha hipótese nula ( H0H0H_0 ) é que todas as médias de grupos são iguais. Há muitas …

40 r  anova  interpretation 

Tenho alguns dados sobre voos de companhias aéreas (em um quadro de dados chamado flights) e gostaria de ver se o tempo de voo tem algum efeito na probabilidade de chegada significativamente atrasada (ou seja, 10 ou mais minutos). Imaginei que usaria regressão logística, com o tempo de vôo como …

40 r  logistic  separation 

Para uma distribuição unimodal moderadamente inclinada, temos a seguinte relação empírica entre média, mediana e modo: Como foi essa relação derivado?(Média - Modo) ∼ 3(Média mediana)(Média - Modo)∼3(Média mediana) \text{(Mean - Mode)}\sim 3\,\text{(Mean - Median)} Karl Pearson planejou milhares desses relacionamentos antes de formar essa conclusão, ou existe uma linha …

40 distributions  mathematical-statistics  descriptive-statistics  history 

Estou tentando prever o resultado de um sistema complexo usando redes neurais (RNAs). Os valores do resultado (dependentes) variam entre 0 e 10.000. As diferentes variáveis ​​de entrada têm intervalos diferentes. Todas as variáveis ​​têm distribuições aproximadamente normais. Considero diferentes opções para dimensionar os dados antes do treinamento. Uma opção …

40 machine-learning  neural-networks  multidimensional-scaling 

Entendi que Floresta Aleatória e Árvores Extremamente Aleatórias diferem no sentido de que as divisões das árvores na Floresta Aleatória são determinísticas, enquanto que são aleatórias no caso de Árvores Extremamente Aleatórias (para ser mais preciso, a próxima divisão é a melhor divisão entre divisões uniformes aleatórias nas variáveis ​​selecionadas …

40 machine-learning  correlation  references  random-forest 

Eu continuo lendo sobre instâncias em que centralizamos os dados (por exemplo, com regularização ou PCA) para remover a interceptação (conforme mencionado nesta pergunta ). Eu sei que é simples, mas estou tendo dificuldades para entender isso intuitivamente. Alguém poderia fornecer a intuição ou uma referência que eu possa ler?

40 regression  pca  centering