Estatísticas e Big Data

Além da usabilidade, existe alguma justificativa epistêmica (matemática, filosófica, heurística, etc.) para o uso de anteriores conjugados? Ou geralmente é apenas uma aproximação suficientemente boa e torna as coisas muito mais fáceis?

12 bayesian  conjugate-prior  philosophical 

Gostaria de saber como transformar valores negativos Log(), pois tenho dados heterocedásticos. Eu li que ele funciona com a fórmula, Log(x+1)mas isso não funciona com meu banco de dados e continuo recebendo NaNs como resultado. Por exemplo, recebo esta mensagem de aviso (não coloquei meu banco de dados completo porque …

12 r  logarithm 

Estou revisando um artigo sobre polinização, onde os dados são distribuídos binomialmente (os frutos amadurecem ou não). Então eu usei glmercom um efeito aleatório (planta individual) e um efeito fixo (tratamento). Um revisor deseja saber se a planta teve um efeito no conjunto das frutas - mas estou tendo problemas …

12 r  generalized-linear-model  variance  lme4-nlme  ecology 

Então, eu e meu tio estamos discutindo se uma moeda é realmente aleatória. Argumento que não é porque, em termos reais, um lançador de moedas sempre manipula uma moeda, portanto o resultado não é 50/50, portanto, não é uma boa escolha como técnica de randomização para atribuir grupos em ensaios …

12 random-generation  randomness  random-allocation 

Portanto, ao analisar as Redes Neurais com funções de base radial, notei que as pessoas só recomendam o uso de 1 camada oculta, enquanto nas redes neurais perceptron de múltiplas camadas, mais camadas são consideradas melhores. Dado que as redes RBF podem ser treinadas com a versão de propagação reversa, …

12 machine-learning  neural-networks  rbf-network 

Eu tenho uma matriz de termos de documentos e agora gostaria de extrair palavras-chave para cada documento com um método de aprendizado supervisionado (SVM, Naive Bayes, ...). Neste modelo, eu já uso Tf-idf, tag Pos, ...MMM Mas agora estou me perguntando sobre os próximos. Eu tenho uma matriz com as …

12 text-mining  feature-construction  supervised-learning  cosine-distance  cosine-similarity 

Como devo interpretar a altura dos gráficos de densidade: Por exemplo, no gráfico acima, o pico é de cerca de 0,07 em x = 18. Posso deduzir que cerca de 7% dos valores estão em torno de 18? Posso ser mais específico que isso? Há também um segundo pico em …

12 data-visualization  pdf 

Estou pensando em um espaço grande (mas finito) de modelos de complexidade variável, que exploro usando o RJMCMC . O anterior no vetor de parâmetro para cada modelo é bastante informativo. Em que casos (se houver) eu deveria estar preocupado com o paradoxo de Jeffreys-Lindley, favorecendo modelos mais simples, quando …

12 bayesian  model-selection  mcmc  prior  improper-prior 

Em duas bibliotecas populares de identificação de idiomas, o Compact Language Detector 2 para C ++ e o detector de idiomas para java, ambos usavam n-gramas (baseados em caracteres) para extrair recursos de texto. Por que um pacote de palavras (única palavra / dicionário) não é usado e qual é …

12 machine-learning  classification  text-mining  natural-language 

Seja { X n } n ≥ 1{Xn}n≥1\{X_n\}_{n\geq 1} uma sequência de variáveis ​​aleatórias st X n → aXn→aX_n \to a em probabilidade, onde a > 0a>0a>0 é uma constante fixa. Estou tentando mostrar o seguinte: √X n →√umXn−−−√→a−−√\sqrt{X_n} \to \sqrt{a} e umX n →1aXn→1\frac{a}{X_n}\to 1 ambos em probabilidade. Estou …

12 random-variable  convergence  asymptotics  probability-inequalities  coverage-probability 

Eu apenas pensei em uma maneira pura (não necessariamente boa) de criar estimativas de densidade unidimensional e minha pergunta é: Esse método de estimativa de densidade tem um nome? Caso contrário, é um caso especial de algum outro método na literatura? Aqui está o método: Nós temos um vector X=[x1,x2,...,xn]X=[x1,x2,...,xn]X …

12 r  estimation  nonparametric  pdf  kernel-smoothing 

Given N≥30N≥30N\geq30 i.i.d. Xn≈N(μX,σ2X)Xn≈N(μX,σX2)X_n\approx\mathcal{N}(\mu_X,\sigma_X^2), and μX≈0μX≈0\mu_X \approx 0, looking for: accurate closed form distribution approximation of YN=∏1NXnYN=∏1NXnY_N=\prod\limits_{1}^{N}{X_n} asymptotic (exponential?) approximation of same product This is a special case μX≈0μX≈0\mu_X \approx 0 of a more general question.

12 distributions  normal-distribution  asymptotics  approximation 

O de Cohen dddé uma das maneiras mais comuns de medir o tamanho de um efeito ( consulte a Wikipedia ). Simplesmente mede a distância entre duas médias em termos do desvio padrão combinado. Como podemos derivar a fórmula matemática da estimativa de variância do de Cohen ddd? Dezembro de …

12 variance  effect-size  cohens-d 

Encontrei muitos artigos que afirmam que os métodos de aumento são sensíveis a valores discrepantes, mas nenhum artigo explica o porquê. Na minha experiência, os valores extremos são ruins para qualquer algoritmo de aprendizado de máquina, mas por que os métodos de aumento são particularmente sensíveis? Como os seguintes algoritmos …

12 machine-learning  svm  outliers  cart  boosting 

Recentemente, li alguns artigos sobre a rede neural bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , que fornece uma relação de probabilidade entre a entrada e a saída em uma rede neural. O treinamento dessa rede neural é feito através do MCMC, que é diferente do algoritmo tradicional de retropropagação. …

12 bayesian  neural-networks  bayesian-network