Estatísticas e Big Data

Nota: Eu sei que L1 tem propriedade de seleção de recurso. Estou tentando entender qual escolher quando a seleção de recursos é completamente irrelevante. Como decidir qual regularização (L1 ou L2) usar? Quais são os prós e os contras de cada regularização L1 / L2? É recomendável primeiro fazer a …

30 regression  lasso  regularization  ridge-regression 

Ultimamente, tenho pensado muito sobre o "problema de desequilíbrio de classe" no aprendizado de máquina / estatística, e estou me aprofundando cada vez mais em um sentimento de que simplesmente não entendo o que está acontecendo. Primeiro, deixe-me definir (ou tentar) definir meus termos: O problema de desequilíbrio de classe …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

Distribuições muito distorcidas, como o log-normal, não resultam em intervalos precisos de confiança na inicialização. Aqui está um exemplo que mostra que as áreas da cauda esquerda e direita estão longe do valor ideal de 0,025, independentemente do método de inicialização que você tenta no R: require(boot) n <- 25 …

30 confidence-interval  nonparametric  mean  bootstrap  median 

Aprendizado supervisionado 1) Um humano constrói um classificador com base na entrada e saída de dados 2) Esse classificador é treinado com um conjunto de dados de treinamento 3) Esse classificador é testado com um conjunto de dados de teste 4) Implantação se a saída for satisfatória Para ser usado …

30 machine-learning  unsupervised-learning  supervised-learning  reinforcement-learning 

Sei que essa pergunta foi feita com o caso mean = median, mas não encontrei nada relacionado ao mean = mode. Se o modo for igual à média, posso sempre concluir que esta é uma distribuição simétrica? Serei obrigado a conhecer também a mediana dessa maneira?

30 distributions  mean  skewness  mode  symmetry 

No livro Modelos Estatísticos e Métodos para Dados da Vida , está escrito: Censura: Quando uma observação é incompleta devido a alguma causa aleatória. Truncamento: quando a natureza incompleta da observação se deve a um processo de seleção sistemático inerente ao desenho do estudo. O que se entende por "processo …

30 self-study  censoring  truncation 

Quais são as diferenças entre "inferência" e "estimativa" no contexto do aprendizado de máquina ? Como um novato, sinto que inferimos variáveis ​​aleatórias e estimamos os parâmetros do modelo. Meu entendimento está correto? Caso contrário, quais são exatamente as diferenças e quando devo usar quais? Além disso, qual é o …

30 machine-learning  inference  terminology 

A fórmula para a probabilidade condicional de acontecer, dado que aconteceu é:UMAUMA\text{A}BB\text{B}P( A | B ) = P( A ∩ B )P(B).P(A | B)=P(A∩B)P(B). P\left(\text{A}~\middle|~\text{B}\right)=\frac{P\left(\text{A} \cap \text{B}\right)}{P\left(\text{B}\right)}. Meu livro explica a intuição por trás disso em termos de um diagrama de Venn. Dado que ocorreu , a única maneira de …

30 probability  conditional-probability  intuition 

[Esta questão também foi colocada no estouro de pilha] A questão em suma Estou estudando redes neurais convolucionais e acredito que essas redes não tratam todos os neurônios de entrada (pixel / parâmetro) de maneira equivalente. Imagine que temos uma rede profunda (muitas camadas) que aplica convolução em alguma imagem …

30 machine-learning  neural-networks  convolution 

Quais são as diferenças nas inferências que podem ser feitas a partir de uma análise de classe latente (ACV) versus uma análise de cluster? É correto que uma ACV assuma uma variável latente subjacente que dê origem às classes, enquanto a análise de cluster é uma descrição empírica de atributos …

30 clustering  latent-variable  latent-class 

Estou procurando uma distribuição em que a densidade de probabilidade diminua rapidamente após algum ponto da média ou, em minhas próprias palavras, uma "distribuição em forma de platô". Algo entre o gaussiano e o uniforme.

30 distributions  normal-distribution  uniform 

Em este post no blog de Andrew Gelman, há a seguinte passagem: Os modelos bayesianos de 50 anos atrás parecem irremediavelmente simples (exceto, é claro, por problemas simples), e espero que os modelos bayesianos de hoje pareçam irremediavelmente simples, daqui a 50 anos. (Apenas para um exemplo simples: provavelmente deveríamos …

30 distributions  bayesian  normal-distribution  model  robust 

Estou jogando o Álbum de figurinhas online da FIFA Panini , que é uma adaptação da Internet dos álbuns clássicos da Panini, geralmente publicados para a copa do mundo de futebol, o campeonato europeu e possivelmente outros torneios. O álbum possui espaços reservados para 424 adesivos diferentes. O objetivo do …

30 probability  coupon-collector-problem 

Entendo que correlação não é causalidade . Suponha que obtemos alta correlação entre duas variáveis. Como você verifica se essa correlação é realmente por causa de causalidade? Ou, sob quais condições, exatamente, podemos usar dados experimentais para deduzir uma relação causal entre duas ou mais variáveis?

30 correlation  mathematical-statistics  causality 

Espero que alguém possa fornecer uma visão geral intuitiva do que é distribuição quase-binomial e o que ela faz. Estou particularmente interessado nestes pontos: Como o quasibinomial difere da distribuição binomial. Quando a variável de resposta é uma proporção (os valores de exemplo incluem 0,23, 0,11, 0,78, 0,98), um modelo …

30 r  generalized-linear-model  binomial  overdispersion  quasi-likelihood