Estatísticas e Big Data

Em Métodos Estatísticos nas Ciências Atmosféricas , Daniel Wilks observa que a regressão linear múltipla pode levar a problemas se houver intercorrelações muito fortes entre os preditores (3ª edição, página 559-560): Uma patologia que pode ocorrer na regressão linear múltipla é que um conjunto de variáveis ​​preditoras com fortes correlações …

13 regression  pca  bias 

Alguém pode dar exemplos de por que escolher um sobre o outro? Eles são calculados de maneira diferente?

13 sem  psychometrics  psychology  scale-construction 

Eu estava lendo os modelos lineares de livros da Faraway com R (1ª edição) no último fim de semana. Faraway tinha um capítulo chamado "Estratégia Estatística e Incerteza do Modelo". Ele descreveu (página 158) que ele artificialmente gerado alguns dados usando um modelo muito complicado, então ele perguntou a seus …

13 predictive-models  modeling  interpretation 

Estou trabalhando em um projeto para filtragem colaborativa (CF), ou seja, concluindo uma matriz parcialmente observada ou, mais geralmente, tensor. Eu sou um novato em campo e, para este projeto, eventualmente, tenho que comparar nosso método com outros conhecidos que, atualmente, os métodos propostos são comparados com eles, ou seja, …

13 optimization  recommender-system  matrix-decomposition 

Estou com problemas para entender as probabilidades e gostaria apenas de uma explicação básica de como interpretá-las. Eu encontrei várias postagens relacionadas a probabilidades, mas a maioria delas é mais complexa do que estou tentando entender. Aqui está um exemplo de como estou interpretando as probabilidades: se as chances de …

13 probability  intuition  odds 

Se eu rolar um par de dados um número infinito de vezes e sempre selecionar o valor mais alto dos dois, a média esperada dos valores mais altos excederá 3,5? Parece que deve ser porque, se eu jogasse um milhão de dados e selecionasse o valor mais alto de cada …

13 dice 

Minha pergunta se refere a uma técnica de computação explorada em geoR:::.negloglik.GRFou geoR:::solve.geoR. Em uma configuração linear modelo misto: onde e são os efeitos fixos e aleatórios, respectivamente. Além disso,β b Σ = cov ( Y )Y=Xβ+Zb+eY=Xβ+Zb+e Y=X\beta+Zb+e ββ\betabbbΣ=cov(Y)Σ=cov(Y)\Sigma=\text{cov}(Y) Ao estimar os efeitos, é necessário calcular que normalmente pode ser …

13 r  eigenvalues  matrix-decomposition  matrix-inverse  cholesky 

Uma pergunta embaraçosamente simples - mas parece que nunca foi feita no Cross Validated antes: Qual é a definição de um modelo de regressão? Também uma pergunta de suporte, O que não é um modelo de regressão? No que diz respeito a este último, estou interessado em exemplos complicados em …

13 regression  linear-model  model  terminology  definition 

Esta questão é inspirada na longa discussão nos comentários aqui: Como a regressão linear usa a distribuição normal? No modelo de regressão linear usual, por simplicidade, aqui escrito com apenas um preditor: Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i onde são constantes conhecidas e são termos de erro …

13 regression  normal-distribution  mathematical-statistics  maximum-likelihood  least-squares 

Desculpe a vaga pergunta, mas este gráfico aparece em Biddle et al. 2009 e não encontrei nada parecido antes. É um gráfico de barras com bordas chanfradas, às vezes 'buzinas'. O que isso significa? Esse tipo de gráfico tem um nome? Por /meta/244083/site-for-asking-about-charts, eu pensei que a Academia era o …

13 data-visualization  boxplot 

O consenso geral sobre uma pergunta semelhante, é errado referir-se aos resultados como sendo "altamente significativos"? é que "altamente significativo" é uma maneira válida, embora não específica, de descrever a força de uma associação que possui um valor p muito abaixo do seu limite de significância predefinido. No entanto, que …

13 hypothesis-testing  statistical-significance  p-value  terminology 

Eu tenho um conjunto de dados que contém variáveis ​​categóricas e variáveis ​​contínuas. Fui aconselhado a transformar as variáveis ​​categóricas como variáveis ​​binárias para cada nível (por exemplo, A_level1: {0,1}, A_level2: {0,1}) - acho que alguns chamaram isso de "variáveis ​​fictícias". Com isso dito, seria enganoso centralizar e dimensionar todo …

13 categorical-data  data-transformation  centering 

Eu tenho um conjunto de dados que consiste em 15 mil amostras marcadas (de 10 grupos). Quero aplicar a redução de dimensionalidade em duas dimensões, que levariam em consideração o conhecimento dos rótulos. Quando uso técnicas de redução de dimensionalidade não supervisionadas "padrão", como o PCA, o gráfico de dispersão …

13 machine-learning  pca  dimensionality-reduction  supervised-learning  discriminant-analysis 

Tanto quanto eu entendo, os componentes principais são obtidos girando os eixos de coordenadas para alinhá-los com as direções de variação máxima. No entanto, continuo lendo sobre "componentes principais não rotacionados" e meu software de estatística (SAS) me fornece componentes principais rotacionados em varimax, bem como os componentes não rotacionados. …

13 pca  terminology  factor-rotation 

Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero …

13 classification  neural-networks  deep-learning  lstm