Estatísticas e Big Data

Qual é a diferença entre extrapolação e interpolação e qual é a maneira mais precisa de usar esses termos? Por exemplo, eu vi uma declaração em um documento usando interpolação como: "O procedimento interpola a forma da função estimada entre os pontos da posição" Uma frase que usa extrapolação e …

28 terminology  interpolation  extrapolation 

Recentemente, li que uma rede neural recorrente pode se aproximar de qualquer algoritmo. Então, minha pergunta é: o que isso significa exatamente e você pode me dar uma referência onde isso é provado?

28 references  rnn 

Concluí a análise de componentes principais (PCA), análise fatorial exploratória (EFA) e análise fatorial confirmatória (CFA), tratando dados em escala likert (respostas em cinco níveis: nenhuma, um pouco, algumas, etc.) como contínua variável. Em seguida, usando Lavaan, repeti o CFA definindo as variáveis ​​como categóricas. Gostaria de saber para que …

28 pca  factor-analysis  ordinal-data  binary-data  likert 

Um único teste estatístico pode dar evidência de que a hipótese nula (H0) é falsa e, portanto, a hipótese alternativa (H1) é verdadeira. Mas não pode ser usado para mostrar que H0 é verdadeiro porque a falha em rejeitar H0 não significa que H0 é verdadeiro. Mas vamos supor que …

28 hypothesis-testing  p-value  combining-p-values 

Ao ajustar um modelo de regressão, o que acontece se as suposições das saídas não forem atendidas, especificamente: O que acontece se os resíduos não forem homocedásticos? Se os resíduos mostrarem um padrão crescente ou decrescente na plotagem Residuais vs. Ajustados. O que acontece se os resíduos não forem normalmente …

28 regression  multiple-regression  error  assumptions  normality-assumption 

Costumo ver o termo ruído branco aparecendo ao ler sobre diferentes modelos estatísticos. No entanto, devo admitir que não tenho muita certeza do que isso significa. Geralmente é abreviado como WN(0,σ2)WN(0,σ2)WN(0,σ^2) . Isso significa que é normalmente distribuído ou poderia seguir alguma distribuição?

28 normal-distribution  white-noise 

Vamos considerar, por exemplo, um modelo de regressão linear. Ouvi dizer que, na mineração de dados, depois de realizar uma seleção gradual baseada no critério da AIC, é enganoso olhar para os valores p para testar a hipótese nula de que cada coeficiente de regressão verdadeiro é zero. Ouvi dizer …

28 multiple-regression  predictive-models  data-mining  stepwise-regression 

Como exemplo, assumir a função objetivo do modelo XGBoost no 'th iteração:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) onde é a função de perda, é o 'th saída de árvore e é a regularização. Uma das (muitas) etapas principais para o cálculo rápido é a aproximação:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), onde e são a primeira e a …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

O problema do laço possui a solução de formulário fechado: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + se X tiver colunas ortonormais. Isso foi mostrado neste …

28 regression  lasso  regularization 

Estou usando os modelos R (3.1.1) e ARIMA para previsão. Gostaria de saber qual deve ser o parâmetro "frequency", atribuído na ts()função , se estiver usando dados de séries temporais que sejam: separados por minutos e estão espalhados por 180 dias (1440 minutos / dia) separados por segundos e estão …

28 r  time-series  arima  multiple-seasonalities  mape 

Qual é a diferença entre uma rede bayesiana e um processo de Markov? Acreditava entender os princípios de ambos, mas agora, quando preciso comparar os dois, sinto-me perdido. Eles significam quase o mesmo para mim. Certamente não são. Links para outros recursos também são apreciados.

28 bayesian  references  modeling  markov-process  bayesian-network 

Estou confuso. Existe uma diferença entre as redes de crenças profundas e as máquinas Deep Boltzmann? Se sim, qual a diferença?

28 machine-learning  deep-learning  rbm  deep-belief-networks 

O conjunto de dados "Iris" provavelmente é familiar para a maioria das pessoas aqui - é um dos conjuntos de dados de teste canônicos e um conjunto de dados de exemplo para tudo, desde visualização de dados até aprendizado de máquina. Por exemplo, todos nesta pergunta acabaram usando-o para uma …

28 dataset 

[O título inicial "Medição de similaridade para árvores de cluster hierárquicas" foi posteriormente alterado por @ttnphns para refletir melhor o tópico] Estou realizando várias análises hierárquicas de cluster em um quadro de dados de registros de pacientes (por exemplo, semelhante a http://www.biomedcentral.com/1471-2105/5/126/figure/F1?highres=y ) Estou experimentando diferentes medidas de distância , …

28 r  clustering  distance-functions  similarities  dendrogram 

Gostaria de obter um valor-p e um tamanho de efeito de uma variável categórica independente (com vários níveis) - que é "geral" e não para cada nível separadamente, como é o resultado normal de lme4R. É exatamente como a coisa que as pessoas relatam ao executar uma ANOVA. Como posso …

28 r  hypothesis-testing  anova  mixed-model  lme4-nlme