Estatísticas e Big Data

Quero analisar alguns dados correspondentes à pontuação de propensão. Na literatura, geralmente é utilizado o teste de McNemar, uma vez que os dados são "pareados". No entanto, a correspondência não é pareada no senso comum. Seria mais correto usar o teste exato de Fisher? Que opiniões existem sobre o uso …

7 fishers-exact  matching  mcnemar-test 

As previsões de densidade são mais universais do que as pontuais; eles fornecem informações sobre toda a distribuição prevista de uma variável aleatória, e não sobre uma função concreta da mesma (como média prevista, mediana, quantil etc.). A disponibilidade de uma previsão de densidade permite que diferentes usuários selecionem elementos …

7 forecasting  loss-functions  decision-theory  density-estimation 

Descobri para meus exames de econometria que, se eu esquecer a notação escalar, muitas vezes posso me salvar lembrando a notação da matriz e trabalhando para trás. No entanto, o seguinte me confundiu. Dada a estimativa simples yi^=β0^+β1^xi1yi^=β0^+β1^xi1\hat{y_i} = \hat{\beta_0} + \hat{\beta_1}x_{i1} Como é que vamos β^=(X′X)−1X′yβ^=(X′X)−1X′y\boldsymbol{\hat{\beta}} = \boldsymbol{(X'X)}^{-1}\boldsymbol{X'y} para …

7 regression  least-squares  regression-coefficients  matrix  notation 

Com base no meu entendimento, os auto-codificadores são usados ​​para encontrar uma representação compacta dos recursos de entrada que carregam as informações subjacentes essenciais. Existe alguma relação entre as distâncias L2 no espaço de entrada original e o espaço reduzido (compacto)? Caso contrário, posso treinar a rede de modo que …

7 neural-networks  dimensionality-reduction  distance  autoencoders 

Edit : The question Qual é o melhor livro sobre modelos lineares generalizados para iniciantes? não responde minha pergunta. Por um lado, tenho essencialmente todos os livros mencionados nas respostas a essa pergunta. Eles não cobrem este material. Coloquei em negrito as partes que precisam de ênfase particular na minha …

7 generalized-linear-model  references 

Gravei um DV e IV de 20 participantes. O IV é uma medida repetida, e meu objetivo é ver como a variação no IV pode explicar as variações no DV. Mais especificamente, quero um coeficiente beta para cada participante. Meu primeiro pensamento foi montar um modelo linear de efeitos mistos …

7 regression  mixed-model  regression-coefficients 

Em suas postagens no blog, Andrew Gelman diz que não é fã de testes de hipóteses bayesianas (veja aqui: http://andrewgelman.com/2009/02/26/why_i_dont_like/ ) e, se não estou me lembrando, acho que ele também diz que o teste de hipóteses freqüentista também tem deficiências. Minha pergunta é: você pode fazer estatísticas sem teste …

7 hypothesis-testing  bayesian  frequentist 

Eu entendi que a principal diferença entre aprendizado de máquina e modelo estatístico é que, mais tarde, "assume" certo tipo de distribuição de dados e com base nesse paradigma de modelo diferente, bem como nos resultados estatísticos que obtemos (por exemplo, valores p, estatísticas F , t-stat, etc.). Mas, no …

7 machine-learning  spark-mllib 

Suponha que você tenha um conjunto de dados de detecção de objetos (por exemplo, MS COCO ou Pascal VOC) com N imagens em que k classes de objetos foram rotuladas. Você treina uma rede neural (por exemplo, Faster-RCNN ou YOLO) e mede a precisão (por exemplo, IOU@0.5). Agora você introduz …

7 machine-learning  neural-networks  object-detection  labeling 

"Entropia" captura aproximadamente o grau de "informação" em uma distribuição de probabilidade. Para distribuições discretas, há uma interpretação muito mais exata: A entropia de uma variável aleatória discreta é um limite inferior ao número esperado de bits necessários para transferir o resultado da variável aleatória. Mas para uma variável aleatória …

7 entropy  information-theory 

Atualmente, estou trabalhando nesse problema e o objetivo é desenvolver um modelo de regressão linear para prever meu Y (pressão arterial) com 8 preditores, usando a regressão de Ridge & Lasso. Começo examinando a importância de cada um dos preditores. Abaixo está umsummary()summary()summary() da minha regressão linear múltipla com age100age100age100 …

7 multiple-regression  lasso  ridge-regression 

Se meu qqplot é linear, mas o gradiente não é o mesmo da linha de 45 graus, o que isso sugere? Estou tentando examinar o ajuste da distribuição laplace aos meus dados de amostra, por isso gerei aleatoriamente observações distribuídas de laplace (com parâmetros estimados a partir da minha amostra) …

7 r  qq-plot 

Se eu gerar muitos modelos aleatórios (sem considerar os dados) em uma configuração de regressão simplesmente atribuindo aleatoriamente valores de coeficientes e, em seguida, avaliando esses modelos no conjunto de dados com uma métrica de erro e escolhendo o melhor modelo com base nessa métrica de erro, eu ainda executaria …

7 cross-validation  overfitting  ridge-regression 

Considere o seguinte problema: Você tem duas moedas cada uma com seu próprio peso (probabilidade de dar cara). Alguém jogará as moedas para você em outra sala (você confia nelas). Você pode pedir que joguem as duas moedas e eles dirão se são ambas caras ou não. Ou você pode …

7 regression  probability  estimation 

Na minha configuração, tem mmm ensaios. Cada tentativa tem uma probabilidade qqq de ser selecionado. N≤ mN≤mN \leq m é o número de tentativas selecionadas → N∼ Bin ( q, M )→N∼Bin(q,m) \rightarrow N \sim \text{Bin}(q, m) Para cada um dos NNN ensaios selecionados, a probabilidade de sucesso é ppp …

7 binomial  random-variable  covariance