Estatísticas e Big Data

Por um lado, tenho a regressão à média e, por outro, tenho a falácia do jogador . A falácia de Gambler é definida por Miller e Sanjurjo (2019) como “a crença equivocada de que sequências aleatórias têm uma tendência sistemática à reversão, ou seja, que faixas de resultados semelhantes têm …

29 regression  mean  fallacy  gambling 

Por que os nós de viés são usados ​​em redes neurais? Quantos você deve usar? Em quais camadas você deve usá-las: todas as camadas ocultas e a camada de saída?

29 machine-learning  neural-networks  bias-node 

Existe um ramo da estatística que lida com dados cujos valores exatos não são conhecidos , mas para cada indivíduo sabemos um limite máximo ou mínimo associado ao valor ? Suspeito que meu problema decorra em grande parte do fato de estar lutando para articulá-lo em termos estatísticos, mas espero …

29 biostatistics  population  bounds  interval-censoring 

Suponha que tenhamos uma variável aleatória . Se fosse o parâmetro true, a função de verossimilhança deveria ser maximizada e a derivada igual a zero. Esse é o princípio básico por trás do estimador de probabilidade máxima.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Pelo que entendi, as informações de Fisher são definidas como I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Tendo estudado recentemente o bootstrap, surgiu uma pergunta conceitual que ainda me intriga: Você tem uma população e deseja conhecer um atributo da população, ou seja, , onde eu uso para representar a população. Esse pode ser a média da população, por exemplo. Normalmente você não pode obter todos os …

29 bootstrap  simulation  resampling 

Embora derivasse formalmente o intervalo de confiança de uma estimativa, acabei com uma fórmula que se assemelha muito à maneira como o valor de é calculado.ppp Assim, a pergunta: eles são formalmente equivalentes? Ou seja, está rejeitando uma hipótese com um valor crítico equivalente a não pertence ao intervalo de …

29 hypothesis-testing  confidence-interval  p-value 

Eu tenho uma distribuição observada experimentalmente que se parece muito com uma distribuição gama ou lognormal. Eu li que a distribuição lognormal é a distribuição de probabilidade máxima de entropia para uma variável aleatória para a qual a média e a variação de ln ( X ) são fixas. A …

29 pdf  gamma-distribution  lognormal 

Eu gostaria de usar o GLM e o Elastic Net para selecionar esses recursos relevantes + criar um modelo de regressão linear (ou seja, previsão e entendimento, para que seja melhor ficar com relativamente poucos parâmetros). A saída é contínua. São genes por casos. Eu tenho lido sobre o pacote, …

29 r  regularization  glmnet  elastic-net  underdetermined 

fundo Suponha que tenhamos um modelo de Mínimos Quadrados Ordinários em que tenhamos coeficientes em nosso modelo de regressão, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} onde é um vetor de coeficientes, é a matriz de design definida porββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & …

29 regression  linear-model  least-squares  t-distribution 

Quando você prevê um valor ajustado a partir de um modelo de regressão logística, como os erros padrão são calculados? Quero dizer para os valores ajustados , não para os coeficientes (que envolvem a matriz de informações de Fishers). Eu só descobri como obter os números R(por exemplo, aqui no …

29 r  regression  logistic  mathematical-statistics  references 

Eu queria fazer uma demonstração de classe em que comparasse um intervalo t com um intervalo de autoinicialização e calculasse a probabilidade de cobertura de ambos. Como eu queria que os dados viessem de uma distribuição assimétrica, decidi gerá-los como exp(rnorm(10, 0, 2)) + 1uma amostra do tamanho 10 de …

29 bootstrap  diagnostic 

Estou um pouco confuso com a diferença entre um SVM e um perceptron. Deixe-me tentar resumir minha compreensão aqui e sinta-se à vontade para corrigir onde estou errado e preencher o que perdi. O Perceptron não tenta otimizar a separação "distância". Contanto que encontre um hiperplano que separa os dois …

29 machine-learning  svm  kernel-trick 

Estou um pouco confuso sobre a Área sob curva (AUC) do ROC e a precisão geral. A AUC será proporcional à precisão geral? Em outras palavras, quando tivermos uma precisão geral maior, obteremos uma AUC cada vez maior? Ou eles são, por definição, correlacionados positivamente? Se eles estão correlacionados positivamente, …

29 classification  roc 

É possível que a ANOVA unidirecional (com grupos ou "níveis") relate uma diferença significativa quando nenhum dos testes t pares t?N> 2N>2N>2N( N- 1 ) / 2N(N-1)/2N(N-1)/2 Em esta resposta @whuber escreveu: É sabido que um teste global de ANOVA F pode detectar uma diferença de médias, mesmo nos casos …

29 statistical-significance  anova  t-test  post-hoc 

Todas as dimensões dos meus recursos têm diferentes valores. Quero saber se é essencial normalizar esse conjunto de dados.

29 machine-learning  svm  random-forest  normalization