Estatísticas e Big Data

Como calcular a estatística do quadrado R ( r2r2r^2 ) em R para loesse / ou predictsaída da função? Por exemplo para esses dados: cars.lo <- loess(dist ~ speed, cars) cars.lp <- predict(cars.lo, data.frame(speed = seq(5, 30, 1)), se = TRUE) cars.lppossui duas matrizes fitpara modelo e se.fitpara erro padrão.

15 r  r-squared  loess 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Estou tendo o seguinte problema ao fazer algumas análises com R. Eu tenho um quadro de dados como este: Name …

15 r 

Tenho em mente as fórmulas ajustadas ao quadrado R propostas por: Ezequiel (1930), que acredito ser o atualmente usado no SPSS. R2adjusted=1−(N−1)(N−p−1)(1−R2)Radjusted2=1−(N−1)(N−p−1)(1−R2)R^2_{\rm adjusted} = 1 - \frac{(N-1)}{(N-p-1)} (1-R^2) Olkin e Pratt (1958) R2unbiased=1−(N−3)(1−R2)(N−p−1)−2(N−3)(1−R2)2(N−p−1)(N−p+1)Runbiased2=1−(N−3)(1−R2)(N−p−1)−2(N−3)(1−R2)2(N−p−1)(N−p+1)R^2_{\rm unbiased} = 1 - \frac{(N-3)(1-R^2)}{(N-p-1)} - \frac{2(N-3)(1-R^2)^2}{(N-p-1)(N-p+1)} Em que circunstâncias (se houver) deve prefiro 'ajustada' para 'imparcial' …

15 regression  r-squared 

O CARET usará automaticamente uma grade de ajuste pré-especificada para criar vários modelos antes de selecionar um modelo final e depois treinar o modelo final com os dados completos do treinamento. Eu posso fornecer à minha própria grade de sintonia apenas uma combinação de parâmetros. No entanto, mesmo neste caso, …

15 r  caret 

Depois de procurar esclarecimentos sobre os coeficientes do modelo linear aqui , tenho uma pergunta de acompanhamento referente a não-significativo (alto valor de p) para coeficientes de níveis de fatores. Exemplo: se meu modelo linear incluir um fator com 10 níveis e apenas 3 desses níveis tiverem valores significativos de …

15 statistical-significance  linear-model  model-selection  regression-coefficients  regression-strategies 

Reuni respostas de 85 pessoas sobre sua capacidade de realizar determinadas tarefas. As respostas estão em uma escala Likert de cinco pontos: 5 = Muito bom, 4 = Bom, 3 = Médio, 2 = Ruim, 1 = Muito ruim, A pontuação média é de 2,8 e o desvio padrão é …

15 standard-deviation 

Estou analisando dados de um experimento fatorial desequilibrado com SASe R. Ambos SASe Rfornecer semelhantes Tipo I soma dos quadrados, mas a sua soma Tipo III de quadrados são diferentes uns dos outros. Abaixo estão SASe Rcódigos e saídas. DATA ASD; INPUT Y T B; DATALINES; 20 1 1 25 …

15 r  anova  sas  sums-of-squares 

Estou lendo "O Papel do Xadrez na Pesquisa em Inteligência Artificial" ( pdf ) e, curiosamente, ele diz: A experiência sugere [...] que contribuições de especialistas em xadrez, embora geralmente úteis, não podem ser totalmente confiáveis. Um bom exemplo disso é a função de avaliação do Deep Thought. Várias mudanças …

15 games  artificial-intelligence 

Eu gostaria de saber ou ter referências sobre o processo de análise que a maioria dos analistas de dados estatísticos passa por cada projeto de análise de dados. Se eu fizer uma "lista", para concluir o projeto de análise de dados, um analista deverá: primeiro colete os requisitos para o …

15 project-management 

Fiquei me perguntando, por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção direta passo a passo (e, portanto, sofram da dependência do caminho)? Da mesma forma, por que os métodos General to Specific (GETS) para seleção de …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Como parte de uma tarefa, terei que escrever um algoritmo de programação genética que preveja os níveis de poluentes atmosféricos. Como não tenho experiência, alguém pode me indicar sugestões de linguagens de programação nas quais os programas desenvolvidos serão escritos . Esclarecimento: não estou perguntando qual será a linguagem. Escreverei …

15 genetic-algorithms 

Preciso treinar um classificador linear no meu laptop com centenas de milhares de pontos de dados e cerca de dez mil recursos. Quais são as minhas opções? Qual é o estado da arte para esse tipo de problema? Parece que a descida do gradiente estocástico é uma direção promissora, e …

15 classification 

Estou trabalhando com um conjunto de dados com N em torno de 200.000. Nas regressões, estou vendo valores de significância muito pequenos << 0,001 associados a tamanhos de efeito muito pequenos, por exemplo, r = 0,028. O que eu gostaria de saber é: existe uma maneira baseada em princípios de …

15 regression  probability  statistical-significance  sample-size 

Suponha que eu tenha construído um modelo de previsão para a ocorrência de uma doença específica em um conjunto de dados (o conjunto de dados de construção do modelo) e agora quero verificar o quão bem o modelo funciona em um novo conjunto de dados (o conjunto de dados de …

15 predictive-models  cross-validation  survival  roc 

Já faz um tempo desde que eu olhei para particionar árvores. A última vez que fiz esse tipo de coisa, eu gosto de festa no R (criada por Hothorn). A idéia de inferência condicional via amostragem faz sentido para mim. Mas a rpart também teve apelo. No aplicativo atual (não …

15 r  cart  rpart  partitioning