Estatísticas e Big Data

Versão curta: Qual é o método mais eficiente computacionalmente para estimar o modo de um conjunto de dados multidimensionais, amostrado de uma distribuição contínua? Versão longa: tenho um conjunto de dados em que preciso estimar o modo. O modo não coincide com a média ou mediana. Uma amostra é mostrada …

14 estimation  multivariate-analysis  continuous-data  mode 

Com base em uma amostra de tempos de sobrevivência, gostaria de estimar a probabilidade de tempo de sobrevivência , para alguns t específicos , usando o estimador de Kaplan-Meier. É possível fazer isso ? Observe que t não é necessariamente um horário do evento.nnnttttttRttt

14 r  kaplan-meier 

Fiquei me perguntando, dada uma hipótese unilateral (unilateral) com um nível alfa de .05, podemos estar falando de intervalos de confiança de 95% ? Por exemplo, podemos construir intervalos de confiança " unilaterais" e "bilaterais" separadamente para um teste Z ou t unilateral? qual seria a "interpretação" de cada um …

14 hypothesis-testing  confidence-interval 

Eu tenho vários valores de dados brutos que são valores em dólares e quero encontrar um intervalo de confiança para um percentil desses dados. Existe uma fórmula para esse intervalo de confiança?

14 confidence-interval  quantiles  tolerance-interval 

O teorema da aproximação universal é um resultado bastante famoso para redes neurais, basicamente afirmando que, sob algumas suposições, uma função pode ser uniformemente aproximada por uma rede neural com precisão. Existe algum resultado análogo que se aplica às redes neurais convolucionais?

14 neural-networks  conv-neural-network  approximation 

O objetivo do artigo era otimizar alguns parâmetros, maximizando a probabilidade logarítmica regularizada. Então eles calculam derivadas parciais. E os autores mencionam que otimizam a equação usando L-BFGS, um procedimento quase-Newton padrão para otimizar funções suaves de muitas variáveis ​​(sem mais detalhes). Como funciona ?

14 algorithms  optimization 

Estou tentando obter uma compreensão intuitiva e sentir a diferença e a diferença prática entre o termo consistente e assintoticamente imparcial. Conheço suas definições matemáticas / estatísticas, mas estou procurando algo intuitivo. Para mim, olhando suas definições individuais, elas quase parecem ser a mesma coisa. Percebo que a diferença deve …

14 bias  convergence  unbiased-estimator  asymptotics  intuition 

Acabei de executar um GLM binomial negativo e esta é a saída: Call: glm.nb(formula = small ~ method + site + depth, data = size.dat, init.theta = 1.080668549, link = log) Deviance Residuals: Min 1Q Median 3Q Max -2.2452 -0.9973 -0.3028 0.3864 1.8727 Coefficients: Estimate Std. Error z value Pr(>|z|) …

14 r  categorical-data  generalized-linear-model  interpretation  negative-binomial 

Estou confuso com a definição de modelo não paramétrico depois de ler este link Modelos paramétricos versus modelos não paramétricos e responder aos comentários da minha outra pergunta . Originalmente, pensei que "paramétrico versus não paramétrico" significa se temos suposições de distribuição no modelo (semelhante ao teste de hipótese paramétrica …

14 machine-learning  neural-networks  nonparametric  terminology  parametric 

Dado um conjunto de dados com resultados binários e alguma matriz preditora X \ in \ mathbb {R} ^ {n \ times p} , o modelo de regressão logística padrão estima coeficientes \ beta_ {MLE } que maximizam a probabilidade binomial. Quando X está na classificação completa, \ beta_ {MLE} …

13 logistic  maximum-likelihood  auc 

Obviamente, existem muitas maneiras de abusar dos métodos estatísticos. Você conhece algum exemplo de má prática estatística que foi publicado pela primeira vez como conselhos explícitos (por exemplo, "você deve usar esse método para ..."), em periódicos acadêmicos respeitáveis ​​que depois foram citados repetidamente? Um exemplo pode ser os 10 …

13 references  statistical-falsehoods 

Em Kahneman e Deaton (2010) † , os autores escrevem o seguinte:††^\dagger Essa regressão explica 37% da variância, com um erro quadrático médio da raiz (RMSE) de 0,67852. Para eliminar discrepâncias e relatórios de renda implausíveis, retiramos observações nas quais o valor absoluto da diferença entre a receita logarítmica e …

13 regression  outliers 

É válido usar o comprimento médio ( hhh ) e o peso médio ( www )) de uma determinada população para calcular o Índice de Massa Corporal médio ( ) para essa população?BMI=wh2BMI=wh2BMI = \frac{w}{h^2}

13 mean  sample  population 

Normalmente, em regressão logística, ajustamos um modelo e obtemos algumas previsões sobre o conjunto de treinamento. Em seguida, validamos cruzadamente essas previsões de treinamento (algo como aqui ) e decidimos o valor do limite ideal com base em algo como a curva ROC. Por que não incorporamos a validação cruzada …

13 logistic  cross-validation  optimization  roc  threshold 

As classes previstas da regressão logística (binária) são determinadas usando um limite nas probabilidades de associação à classe geradas pelo modelo. Pelo que entendi, normalmente 0,5 é usado por padrão. Mas variar o limite alterará as classificações previstas. Isso significa que o limiar é um hiperparâmetro? Se sim, por que …

13 machine-learning  logistic  scikit-learn  hyperparameter