Estatísticas e Big Data

Alguns dos recursos de meus dados têm valores grandes, enquanto outros possuem valores muito menores. É necessário centralizar os dados na escala + antes de aplicar o t-SNE para evitar desvios para valores maiores? Eu uso a implementação sklearn.manifold.TSNE do Python com a métrica de distância euclidiana padrão.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Estou apenas aprendendo sobre otimização e tendo problemas para entender a diferença entre otimização convexa e não convexa. Pelo meu entendimento, uma função convexa é aquela em que "o segmento de linha entre dois pontos no gráfico da função está acima ou no gráfico". Nesse caso, um algoritmo de descida …

18 optimization 

Alguns autores (por exemplo, Pallant, 2007, p. 225; veja a imagem abaixo) sugerem calcular o tamanho do efeito para um teste de classificação assinado por Wilcoxon dividindo a estatística do teste pela raiz quadrada do número de observações: r = Znx+ ny√r=Znx+nyr = \frac{Z}{\sqrt{n_x + n_y}} Zé a saída estatística …

18 effect-size  wilcoxon-signed-rank 

Geralmente, qual é a diferença entre e ?E(X|Y)E(X|Y)E(X|Y)E(X|Y=y)E(X|Y=y)E(X|Y=y) Ex é função de e último é função de ? É tão confuso ..yyyxxx

18 conditional-expectation  notation  definition 

Histórico: Nota: Meu conjunto de dados e código-r estão incluídos abaixo do texto Desejo usar o AIC para comparar dois modelos de efeitos mistos gerados usando o pacote lme4 em R. Cada modelo tem um efeito fixo e um efeito aleatório. O efeito fixo difere entre os modelos, mas o …

18 maximum-likelihood  random-effects-model  fixed-effects-model  mixed-model  lme4-nlme 

Parece que me confundi tentando entender se um valor de quartzo também tem um valor- .rrrppp Pelo que entendi, na correlação linear com um conjunto de pontos de dados pode ter um valor que varia de a e esse valor, seja o que for, pode ter um valor- que mostra …

18 statistical-significance  p-value  r-squared 

Estou usando cv.glmnetpara encontrar preditores. A configuração que eu uso é a seguinte: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Garantir que os resultados sejam reprodutíveis set.seed(1). Os resultados são altamente variáveis. Corri exatamente o mesmo código 100 para ver como os resultados eram variáveis. Nas corridas 98/100, sempre havia um preditor …

18 r  cross-validation  feature-selection  glmnet 

Eu tenho um conjunto de dados com N ~ 5000 e faltando cerca de 1/2 em pelo menos uma variável importante. O principal método analítico serão os riscos proporcionais de Cox. Eu pretendo usar várias imputações. Também estarei me dividindo em um trem e um conjunto de testes. Devo dividir …

18 cross-validation  survival  multiple-imputation  train 

Uma vez ouvi isso a transformação de log é a mais popular para distribuições inclinadas à direita em regressão linear ou regressão quantílica Gostaria de saber que existe alguma razão subjacente a esta declaração? Por que a transformação de log é adequada para uma distribuição inclinada à direita? Que tal …

18 regression  distributions  data-transformation  skewness 

Tenho enfrentado dificuldades para entender o significado de "amostra aleatória" e "variável aleatória iid". Tentei descobrir o significado de várias fontes, mas fiquei cada vez mais confuso. Estou postando aqui o que tentei e conheci: A Probabilidade e Estatísticas de Degroot diz: Amostras aleatórias / iid / tamanho da amostra: …

18 sampling  terminology  iid 

Qual é a diferença entre Regressão Primal , Dual e Kernel Ridge? As pessoas estão usando os três, e por causa da notação diferente que todo mundo usa em diferentes fontes é difícil para mim seguir. Então, alguém pode me dizer em palavras simples qual é a diferença entre esses …

18 regression  kernel-trick  ridge-regression 

Estou tentando comparar visualmente como três publicações de notícias diferentes cobrem tópicos diferentes (determinado por meio de um modelo de tópico da LDA). Eu tenho dois métodos relacionados para fazer isso, mas recebi muitos comentários de colegas de que isso não é muito intuitivo. Espero que alguém tenha uma idéia …

18 data-visualization  communication 

Em uma regressão linear múltipla, é possível descobrir o coeficiente com a seguinte fórmula. b=(X′X)−1(X′)Yb=(X′X)−1(X′)Yb = (X'X)^{-1}(X')Y beta = solve(t(X) %*% X) %*% (t(X) %*% Y) ; beta Por exemplo: > y <- c(9.3, 4.8, 8.9, 6.5, 4.2, 6.2, 7.4, 6, 7.6, 6.1) > x0 <- c(1,1,1,1,1,1,1,1,1,1) > x1 <- …

18 logistic  regression-coefficients 

Estou tentando aplicar o MCMC em um problema, mas meus anteriores (no meu caso eles são )) estão restritos a uma área? Posso usar o MCMC normal e ignorar as amostras que ficam fora da zona restrita (que no meu caso é [0,1] ^ 2), ou seja, reutilizar a função …

18 sampling  mcmc  monte-carlo  random-walk 

Eu tenho uma pergunta na qual ele pede para verificar se a distribuição Uniform ( ) está normalizada.Uniform(a,b)Uniform(a,b){\rm Uniform}(a,b) Por um lado, o que significa que qualquer distribuição seja normalizada? E segundo, como vamos verificar se uma distribuição é normalizada ou não? Entendo que ao calcular obtemos dados normalizados , …

18 data-transformation  terminology  normalization  standardization