Estatísticas e Big Data

Estou procurando a equação correta para calcular a covariância de amostra imparcial ponderada. As fontes da Internet são bastante raras nesse tema e todas usam equações diferentes. A equação mais provável que encontrei é esta: qj k= ∑Ni = 1WEu( ∑Ni = 1WEu)2- ∑Ni = 1W2Eu∑Ni = 1WEu( xeu j- …

9 covariance  unbiased-estimator  weighted-data 

No contexto da inferência baseada em verossimilhança, vi algumas notações sobre os parâmetros de interesse que achei um pouco confusas. Por exemplo, notação como e E θ [ S ( θ ) ] .pθ( X )pθ(x)p_{\theta}(x)Eθ[ S( θ ) ]Eθ[S(θ)]{\mathbb E}_{\theta}\left[S(\theta)\right] Qual é o significado do parâmetro ( ) na …

9 expected-value  pdf  likelihood  notation 

Eu tenho um conjunto de treinamento com cerca de 3000 instâncias positivas e 3000 instâncias negativas. Mas meu conjunto de dados de teste é praticamente desequilibrado. O conjunto positivo possui apenas 50 instâncias e o negativo possui 1500 instâncias. Isso faz com que a precisão seja muito baixa. Existem abordagens …

9 machine-learning  classification  data-mining  svm 

Da Wikipedia Formalmente, a correlação parcial entre XXX e YYY dado um conjunto de nnn variáveis ​​de controle Z= { Z1, Z2, … , Zn}Z={Z1,Z2,…,Zn}Z = \{Z_1, Z_2, …, Z_n\} , escrita , é a correlação entre os resíduos RX e RY resultantes de a regressão linear de X com …

9 correlation  partial-correlation  conditioning 

Alguém sabe de uma função ou pacote R que pode me ajudar a transformar escores z em escores percentuais? O objetivo final é classificar ou classificar um grupo de respondentes em quatro categorias com base nas alturas de suas pontuações z (20% de pontuações mais baixas, 30%, 30%, 20% de …

9 r  quantiles  change-scores 

Eu gostaria de gerar dados aleatórios a partir de uma distribuição normal restrita usando R. Por exemplo, eu posso querer simular uma variável de uma distribuição normal com mean=3, sd= 2e quaisquer valores maiores que 5 são reamostrados da mesma distribuição normal. Assim, para a função geral, eu poderia fazer …

9 r  normal-distribution  simulation  truncation 

Tenho quase um milhão de conjuntos de dados e sempre que executo um teste de comparação médio, ANOVA ou um teste t, obtenho um nível de significância menor que 0,0001 no SPSS. Estou preocupado que minha amostra seja tão grande que, é claro, quando eu comparo os meios, ela será …

9 anova  t-test  effect-size  large-data 

Vi os livros de Vapnik sobre aprendizado estatístico ... Li os primeiros capítulos. De qualquer forma, o que mais me surpreendeu foi o fato de ele pensar que a navalha da Occam era obsoleta. Eu pensei que estava relacionado à situação em que assumir uma dimensão maior melhora o ajuste …

9 machine-learning  svm 

Para um classificador probabilístico de várias classes, podemos obter probabilidades de pertencer a um novo ponto para cada classe ; no caso de três classes, suponha que obtemos , portanto, a classe mais provável de x é . Agora, suponha que tenhamos um svm com várias classes, onde podemos obter …

9 probability  classification  svm  unsupervised-learning  uncertainty 

Gostaria de saber se existe uma boa maneira de calcular o critério de agrupamento com base na fórmula BIC, para uma saída k-Médias em R? Estou um pouco confuso sobre como calcular esse BIC para que eu possa compará-lo com outros modelos de cluster. Atualmente, estou usando a implementação do …

9 r  clustering  k-means  bic 

Temos os seguintes pontos: Como podemos encontrar a melhor linha de ajuste através dos pontos? Minha calculadora tem a opção de encontrar a melhor linha de ajuste através desses pontos, que é:y = a x y = a x + b( 0 , 0 ) ( 1 , 51,8 ) …

9 regression  intercept 

Eu sou novo no Stats e me deparei com esse problema ao executar minhas análises no SPSS, que não posso explicar. Como é que, mesmo depois de transformar meus dados, registrando-os, ele ainda tem o mesmo valor p do conjunto de dados brutos que não foi transformado?

9 data-transformation  p-value  wilcoxon-mann-whitney 

Em boa parte da literatura que estou estudando, é um desses termos que ocorre com frequência e ainda sem uma definição rigorosa a ser encontrada. Especificamente, me disseram: Para variáveis ​​aleatórias indexadas no tempo (RVs) , o modelo de decomposição aditiva é dado como{ Xt}{Xt}\{X_t\} Xt= l l ( Xt …

9 time-series  definition 

Considere-se uma resposta y e matriz de dados X . Suponha que eu esteja criando um modelo do formulário - y ~ g (X, )θθ\theta (g () pode ser qualquer função de X e )θθ\theta Agora, para estimar usando o método de máxima verossimilhança (ML), eu poderia ir em frente …

9 estimation  maximum-likelihood  optimization 

Projeto e hipótese : medimos wellbeingno tempo 1 e no tempo 2, queremos ver se o fator A(medido no tempo 1 e supostamente um fator estável ao longo do tempo) é um preditor significativo do fator B(medido no tempo 2) . Também esperamos que wellbeing, atual ou passado, contribua para …

9 regression  repeated-measures  multiple-regression  panel-data