Estatísticas e Big Data

Estou tentando descobrir qual SVR é adequado para esse tipo de dados. Conheço 4 tipos de SVRs: epsilon nu mínimos quadrados e linear. Entendo que o SVR linear é mais ou menos como o laço com L1 Reg, mas qual é a diferença entre as três técnicas restantes?

11 regression  svm 

Eu tenho 100.000 observações (9 variáveis ​​indicadoras fictícias) com 1000 positivos. A regressão logística deve funcionar bem neste caso, mas a probabilidade de corte me intriga. Na literatura comum, escolhemos um ponto de corte de 50% para prever 1s e 0s. Não posso fazer isso, pois meu modelo fornece um …

11 regression  logistic  classification  generalized-linear-model  roc 

Eu tenho estudado estatística nos últimos dois anos. Quase tudo o que aprendi é sobre estatística paramétrica. Agora eu gostaria de aprender mais sobre estatísticas não paramétricas. Alguém pode sugerir uma introdução concisa (talvez também legível) a essa área?

11 self-study  nonparametric  references 

Eu tenho uma matriz grande (650K linhas * 62 colunas) de dados binários (somente entradas de 0-1). A matriz é praticamente esparsa: cerca de 8% é preenchida. Gostaria de agrupá-lo em 5 grupos - digamos, nomeado de 1 a 5. Tentei agrupar hierarquicamente e não foi capaz de lidar com …

11 clustering  dataset  k-means  binary-data 

Não consigo encontrar um método geral para derivar erros padrão em qualquer lugar. Eu olhei no google, neste site e até em livros de texto, mas tudo o que posso encontrar é a fórmula para erros padrão para a média, variação, proporção, razão de risco, etc ... e não como …

11 standard-error 

Depois de me deparar com essa discussão , estou levantando a questão sobre as convenções dos intervalos de confiança transformados de volta. De acordo com este artigo, o IC da transformação nominal de cobertura nominal para a média de uma variável aleatória log-normal é: LCL(X)=exp(Y+var(Y) vocêCL ( X) = exp( …

11 confidence-interval  data-transformation  back-transformation 

Quais são as estimativas dos parâmetros fórmula para a inclinação normal? Se você puder, a derivação via MLE ou Mom também seria ótima. obrigado Edit . Eu tenho um conjunto de dados para o qual eu posso ver visualmente por gráficos que está ligeiramente inclinado para a esquerda. Quero estimar …

11 normal-distribution  maximum-likelihood  skewness  skew-normal 

Isenção de responsabilidade: se você acha que essa pergunta é muito semelhante a outra, fico feliz em ser mesclada. No entanto, não encontrei uma resposta satisfatória em nenhum outro lugar (e ainda não tenho a "reputação" de comentar ou votar), então achei que seria melhor fazer uma nova pergunta. Minha …

11 correlation  statistical-significance  fisher-transform 

Se eu tiver um modelo de regressão: onde e ,Y= Xβ+ εY=Xβ+ε Y = X\beta + \varepsilon V [ε]=Id∈ Rn × nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n}E [ε]=(0,…,0)E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) quando o uso de , o estimador ordinário de mínimos quadrados de , seria uma má escolha …

11 regression  distributions  least-squares 

O SurveyMonkey possui etapas e um gráfico para você descobrir qual o tamanho da amostra necessário para uma determinada margem de erro ou intervalo de confiança, com base no tamanho da sua população. Tamanho da amostra SurveyMonkey Este gráfico simplesmente ignora o fato de que você não obterá uma amostra …

11 confidence-interval  sample-size  survey  sample 

Executei o PCA em 17 variáveis ​​quantitativas para obter um conjunto menor de variáveis, que são os principais componentes, para serem usadas no aprendizado de máquina supervisionado para classificar instâncias em duas classes. Após o PCA, o PC1 responde por 31% da variação nos dados, o PC2 responde por 17%, …

11 machine-learning  classification  pca  dimensionality-reduction 

Estou reproduzindo um exemplo dos modelos Generalizado, Linear e Misto . Meu MWE está abaixo: Dilution <- c(1/128, 1/64, 1/32, 1/16, 1/8, 1/4, 1/2, 1, 2, 4) NoofPlates <- rep(x=5, times=10) NoPositive <- c(0, 0, 2, 2, 3, 4, 5, 5, 5, 5) Data <- data.frame(Dilution, NoofPlates, NoPositive) fm1 <- …

11 r  logistic  generalized-linear-model  likelihood-ratio  z-test 

Não sou ecologista da comunidade, mas atualmente trabalho com dados de ecologia da comunidade. O que eu não conseguia entender, além da matemática dessas distâncias, são os critérios para cada distância a ser usada e em que situações ela pode ser aplicada. Por exemplo, o que usar com os dados …

11 distance  euclidean 

Estou tentando descobrir como reproduzir em Python algum trabalho que fiz no SAS. Usando esse conjunto de dados , onde a multicolinearidade é um problema, eu gostaria de executar a análise de componentes principais em Python. Analisei o scikit-learn e o statsmodels, mas não sei como obter sua saída e …

11 pca  python  scikit-learn 

Quero atribuir pesos diferentes às variáveis ​​em minha análise de cluster, mas meu programa (Stata) parece não ter uma opção para isso, então preciso fazê-lo manualmente. Imagine 4 variáveis ​​A, B, C, D. Os pesos para essas variáveis ​​devem ser w(A)=50% w(B)=25% w(C)=10% w(D)=15% Eu estou querendo saber se uma …

11 clustering  stata