Estatísticas e Big Data

Eu tenho um conjunto de valores xxx e yyy que são teoricamente relacionados exponencialmente: y=axby=axby = ax^b Uma maneira de obter os coeficientes é aplicando logaritmos naturais em ambos os lados e ajustando um modelo linear: > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] Outra maneira …

13 r  regression  linear-model  model-selection  nonlinear-regression 

Suponha que eu tenha uma divisão 80/20 entre observações de modelagem / validação. Ajustei um modelo ao conjunto de dados de modelagem e me sinto confortável com o erro que estou vendo no conjunto de dados de validação. Antes de lançar meu modelo para escorar observações futuras, é apropriado combinar …

13 regression  predictive-models  validation 

Ouvi dizer que não é uma boa ideia escolher um teste estatístico com base no resultado de outro. Isso me parece estranho. Por exemplo, as pessoas geralmente escolhem usar um teste não paramétrico quando algum outro teste sugere que os resíduos não são normalmente distribuídos. Essa abordagem parece bastante aceita, …

13 hypothesis-testing 

Estou tentando entender como a Random Forest funciona. Tenho uma idéia de como as árvores são construídas, mas não consigo entender como a Random Forest faz previsões em amostras fora do saco. Alguém poderia me dar uma explicação simples, por favor? :)

13 random-forest  prediction 

Estou usando o pacote R lavaan para estimar um modelo de equações estruturais. Digamos que o modelo consiste em 1 variável manifesta endógena com 1 variável explicativa latente e 2 manifesta: group = {0,1} attitude1 = latent,scale age = respondent's age O modelo lavaan desejado é então (não funciona): model …

13 r  interaction  sem  lavaan 

A padronização de uma variável dependente dentro do grupo de identificação faz sentido? O documento de trabalho a seguir (desaceleração do desmatamento na Amazônia Legal; Preços ou políticas ?, pdf ) usa uma variável dependente padronizada para analisar o efeito da mudança de política geral no Brasil sobre o desmatamento. …

13 regression  time-series  panel-data  standardization  fixed-effects-model 

Eu tenho um conjunto de dados longitudinal de indivíduos e alguns deles foram submetidos a um tratamento e outros não. Todos os indivíduos estão na amostra desde o nascimento até os 18 anos e o tratamento ocorre em alguma idade entre esse intervalo. A idade do tratamento pode variar entre …

13 stata  panel-data  propensity-scores 

Estou fazendo regressão usando florestas aleatórias para prever preços com base em vários atributos. O código é escrito em Python usando o Scikit-learn. Como você decide se deve transformar suas variáveis ​​usando exp/ logantes de usá-las para se ajustar ao modelo de regressão? É necessário ao usar uma abordagem do …

13 regression  machine-learning  predictive-models  python  random-forest 

Vamos considerar este conjunto de dados hipotéticos: set.seed(12345) num.subjects <- 10 dose <- rep(c(1,10,50,100), num.subjects) subject <- rep(1:num.subjects, each=4) group <- rep(1:2, each=num.subjects/2*4) response <- dose*dose/10 * group + rnorm(length(dose), 50, 30) df <- data.frame(dose=dose, response=response, subject=subject, group=group) podemos usar lmepara modelar a resposta com um modelo de efeito aleatório: …

13 mixed-model  linear-model  prediction 

Espero que essa pergunta não seja marcada como "geral demais" e espero que comece uma discussão que beneficie a todos. Nas estatísticas, gastamos muito tempo aprendendo grandes teorias de amostra. Estamos profundamente interessados ​​em avaliar as propriedades assintóticas de nossos estimadores, incluindo se são assintoticamente imparciais, assintoticamente eficientes, sua distribuição …

13 sample  asymptotics 

Executei o PCA em 25 variáveis ​​e selecionei os 7 principais PCs usando prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) Eu fiz a rotação varimax nesses componentes. varimax7 <- varimax(prc$rotation[,1:7]) E agora desejo varimax rotacionar os dados rotacionados com PCA (como ele não faz parte do objeto varimax - apenas …

13 r  pca  factor-rotation 

Editar Encontrei um artigo descrevendo exatamente o procedimento de que preciso. A única diferença é que o artigo interpola os dados médios mensais para diários, preservando as médias mensais. Estou com problemas para implementar a abordagem R. Todas as dicas são apreciadas. Original Para cada semana, tenho os seguintes dados …

13 r  time-series  interpolation 

Se nas regressões OLS padrão, duas suposições são violadas (distribuição normal de erros, homocedasticidade), o bootstrapping de erros padrão e intervalos de confiança é uma alternativa apropriada para obter resultados significativos com relação à significância dos coeficientes do regressor? Os testes de significância com erros padrão de inicialização e intervalos …

13 regression  bootstrap  least-squares  heteroscedasticity 

O dicionário Merriam-Webster define um evento ou situação contingente como 1 : likely but not certain to happen : possible 2 : not logically necessary; especially : empirical 3 a : happening by chance or unforeseen causes b : subject to chance or unseen effects : unpredictable c : intended …

13 terminology  contingency-tables 

Eu sou novo na ciência de dados e tenho um problema ao encontrar clusters em um conjunto de dados com 200.000 linhas e 50 colunas em R. Como os dados têm variáveis ​​numéricas e nominais, métodos como o K-significa que usa a medida de distância euclidiana não parece ser uma …

13 r  clustering  sampling  large-data