Estatísticas e Big Data

De algumas notas de aprendizado de máquina, falando sobre alguns métodos de classificação discriminativa, em particular a regressão logística, onde y é o rótulo da classe (0 ou 1) e x são os dados, diz-se que: se x|y=0∼Poisson(λ0)x|y=0∼Poisson(λ0)x|y = 0 \sim \mathrm{Poisson}(λ_0) , e x|y=1∼Poisson(λ1)x|y=1∼Poisson(λ1)x|y = 1 \sim \mathrm{Poisson}(λ_1) , …

11 logistic  poisson-distribution  statistical-learning 

Este artigo está acima da minha liga, mas fala sobre um tópico no qual estou interessado, a relação entre média, moda e mediana. Diz : Acredita-se amplamente que a mediana de uma distribuição unimodal é "geralmente" entre a média e o modo. No entanto, isso nem sempre é verdade... Minha …

11 mean  median  mode 

Eu tenho um conjunto de dados contendo 365 observação de três variáveis pm, a saber , tempe rain. Agora eu quero verificar o comportamento pmem resposta a alterações em outras duas variáveis. Minhas variáveis ​​são: pm10 = Resposta (dependente) temp = preditor (independente) rain = preditor (independente) A seguir está …

11 correlation  multiple-regression  multicollinearity  regression-strategies 

Parece que há um debate em andamento na comunidade bayesiana sobre se deveríamos fazer estimativas de parâmetros bayesianos ou testes de hipóteses bayesianas. Estou interessado em solicitar opiniões sobre isso. Quais são os pontos fortes e fracos dessas abordagens? Em quais contextos um é mais apropriado que o outro? Deveríamos …

11 hypothesis-testing  bayesian 

Quero saber qual é o intervalo dos valores de assimetria e curtose para os quais os dados são considerados normalmente distribuídos. Eu li muitos argumentos e, na maioria das vezes, tenho respostas confusas. Alguns dizem que a assimetria e para a curtose é um intervalo aceitável para distribuição normal. Alguns …

11 normal-distribution  skewness  kurtosis 

Estou tentando entender o significado de cortar e cair na trama de séries temporais do ACF e PACF. O que significa "Cut off after lag"? Isso é sobre limite? O que significa "Tails off"? No exemplo acima, o livro que estou usando para estudar, diz que é um processo de …

11 time-series  autocorrelation  terminology 

Estou procurando referências sobre como calcular intervalos de confiança para o modo (em geral). O bootstrap pode parecer a primeira escolha natural, mas, como discutido por Romano (1988), o bootstrap padrão falha no modo e não fornece nenhuma solução simples. Alguma coisa mudou desde este artigo? Qual é a melhor …

11 confidence-interval  bootstrap  kernel-smoothing  mode 

Estou lendo Gelman & Carlin "Além dos cálculos de potência: avaliando erros do tipo S (sinal) e tipo M (magnitude)" (2014). Estou tentando entender a idéia principal, o caminho principal, mas estou confuso. Alguém poderia me ajudar a me destilar a essência? O artigo é mais ou menos assim (se …

11 statistical-significance  effect-size  power  type-i-and-ii-errors 

Gostaria de estimar a incerteza ou a confiabilidade de uma curva ajustada. Intencionalmente, não cito uma quantidade matemática precisa que estou procurando, pois não sei o que é. Aqui (energia) é a variável dependente (resposta) e (volume) é a variável independente. Gostaria de encontrar a curva Energia-Volume, , de algum …

11 error  fitting  reliability  uncertainty 

Ontem, meus colegas de casa e eu estávamos jogando cartas e alguém fez essa pergunta. Tentamos resolver o problema, mas não conseguimos descobrir. Hoje de manhã acordei e ainda estou pensando em como resolvê-lo. Você poderia me ajudar?

11 probability 

Eu tenho um conjunto de dados com 26 recursos e 31000 linhas. É o conjunto de dados de 38 indivíduos. É para um sistema biométrico. Então, eu quero ser capaz de identificar assuntos. Para ter um conjunto de testes, eu sei que tenho que remover alguns valores. Então, o que …

11 machine-learning  cross-validation  out-of-sample 

Brincando com o Boston Housing Dataset e RandomForestRegressor(com parâmetros padrão) no scikit-learn, notei algo estranho: a pontuação média de validação cruzada diminuiu à medida que aumentava o número de dobras além de 10. Minha estratégia de validação cruzada era a seguinte: cv_met = ShuffleSplit(n_splits=k, test_size=1/k) scores = cross_val_score(est, X, y, …

11 machine-learning  cross-validation  random-forest  sample-size  scikit-learn 

O livro bayesiano de Kruschke diz que, com relação ao uso de uma distribuição beta para lançar uma moeda, Por exemplo, se não temos conhecimento prévio além do conhecimento de que a moeda tem um lado da cabeça e um da cauda, ​​isso equivale a ter observado anteriormente uma cabeça …

11 probability  bayesian  beta-distribution 

Estou tentando entender por que a soma de duas (ou mais) variáveis ​​aleatórias lognormal se aproxima de uma distribuição lognormal à medida que você aumenta o número de observações. Procurei on-line e não encontrei nenhum resultado sobre isso. Claramente, se e são variáveis ​​lognormal independentes, então pelas propriedades dos expoentes …

11 distributions  lognormal  convolution  sum 

Minha pergunta é inspirada no gerador de números aleatórios exponenciais embutidos de R , a função rexp(). Ao tentar gerar números aleatórios distribuídos exponencialmente, muitos livros recomendam o método de transformação inversa, conforme descrito nesta página da Wikipedia . Estou ciente de que existem outros métodos para realizar essa tarefa. …

11 r  simulation  random-generation  exponential  inverse-cdf