Estatísticas e Big Data

Eu li que estas são as condições para usar o modelo de regressão múltipla: os resíduos do modelo são quase normais, a variabilidade dos resíduos é quase constante os resíduos são independentes e cada variável está linearmente relacionada ao resultado. Qual a diferença entre 1 e 2? Você pode ver …

20 regression  multiple-regression  assumptions 

Estou bem ciente dos problemas da seleção stepwise / forward / backward nos modelos de regressão. Existem inúmeros casos de pesquisadores denunciando os métodos e apontando para melhores alternativas. Fiquei curioso para saber se existem histórias onde uma análise estatística: usou regressão passo a passo; tirou algumas conclusões importantes com …

20 regression  stepwise-regression  history 

Fiz essa pergunta em uma entrevista. Digamos que temos uma matriz de correlação da forma ⎡⎣⎢10,60,80,61γ0,8γ1⎤⎦⎥[10,60,80,61γ0,8γ1]\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix} Me pediram para encontrar o valor da gama, dada essa matriz de correlação. Eu pensei que poderia fazer algo com os autovalores, já que eles deveriam ser maiores ou iguais a 0. (Matrix deve …

20 pearson-r  correlation-matrix 

Não tenho certeza de onde essa pergunta pertence: Validação cruzada ou Local de trabalho. Mas minha pergunta está vagamente relacionada à estatística. Esta questão (ou acho que perguntas) surgiu durante o meu trabalho como "estagiário de ciência de dados". Eu estava construindo esse modelo de regressão linear e examinando o …

20 careers 

Um jogador recebe um dado justo de seis lados. Para vencer, ela deve rolar um número maior que 4 (ou seja, 5 ou 6). Se ela rola um 4, ela deve rolar novamente. Quais são as chances dela de ganhar? Eu acho que a probabilidade de ganhar P(W)P(W)P(W) pode ser …

20 probability 

Eu tenho lido Maraun et al , "Processos Gaussianos não estacionários no domínio wavelet: síntese, estimativa e testes significativos" (2007) que definem uma classe de GPs não estacionários que podem ser especificados por multiplicadores no domínio wavelet. A realização de um desses GP é: onde é ruído branco, é a …

20 normal-distribution  stochastic-processes  gaussian-process  fourier-transform  wavelet 

Isso não é lição de casa. Estou interessado em entender se minha lógica está correta com esse problema simples de estatísticas. Digamos que eu tenha uma moeda de 2 faces, onde a probabilidade de virar uma cabeça é e a probabilidade de virar uma cauda é 1 - P ( …

20 probability 

Se f1,…,fkf1,…,fkf_1,\ldots,f_k são densidades conhecidas das quais posso simular, ou seja, para as quais um algoritmo está disponível. e se o produto ∏i=1kfi(x)αiα1,…,αk>0∏i=1kfi(x)αiα1,…,αk>0\prod_{i=1}^k f_i(x)^{\alpha_i}\qquad \alpha_1,\ldots,\alpha_k>0 é integrável, existe uma abordagem genérica para simular a partir dessa densidade de produto usando os simuladores dosfifEuf_i 's?

20 simulation  monte-carlo  geometric-mean  scalability  finite-mixture-model 

Eu entendi como a regressão da crista reduz os coeficientes em direção a zero geometricamente. Além disso, sei como provar isso no "Caso Ortonormal" especial, mas estou confuso de como isso funciona no caso geral via "Decomposição espectral".

20 regression  multiple-regression  regularization  ridge-regression  svd 

Os documentos de pesquisa de aprendizado de máquina geralmente tratam o aprendizado e a inferência como duas tarefas separadas, mas não está claro para mim qual é a distinção. Em este livro , por exemplo, eles usam estatística Bayesiana para ambos os tipos de tarefas, mas não fornecem uma motivação …

20 machine-learning  terminology 

Estou usando um classificador que retorna probabilidades. Para calcular a AUC, estou usando o pROC R-package. As probabilidades de saída do classificador são: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmostra probabilidade de estar na classe '1'. Como mostrado, o classificador classificou todas as amostras na classe …

20 machine-learning  auc 

Desde a minha primeira aula de probabilidade, estive pensando sobre o seguinte. O cálculo de probabilidades é geralmente introduzido através da proporção dos "eventos favorecidos" para o total de eventos possíveis. No caso de rolar dois dados de 6 lados, a quantidade de eventos possíveis é , conforme exibido na …

20 probability  dice 

Conheço a definição de matriz simétrica positiva definida (SPD), mas quero entender mais. Por que eles são tão importantes, intuitivamente? Aqui está o que eu sei. O quê mais? Para um dado dado, a matriz de co-variância é SPD. Matriz de co-variância é uma métrica importante; consulte este excelente post …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Estou treinando uma rede neural (detalhes não importantes) em que os dados de destino são um vetor de ângulos (entre 0 e 2 * pi). Estou procurando conselhos sobre como codificar esses dados. Aqui está o que estou tentando atualmente (com sucesso limitado): 1) Codificação 1-de-C: divido os ângulos possíveis …

20 neural-networks  circular-statistics 

Todos nós estamos familiarizados com a noção, bem documentada na literatura, de que a otimização do LASSO (por uma questão de simplicidade limita a atenção aqui ao caso da regressão linear) l o s s =∥y- Xβ∥22+ λ ∥ β∥1euoss=__y-Xβ__22+λ__β__1 {\rm loss} = \| y - X \beta \|_2^2 + …

20 lasso  laplace-distribution