Estatísticas e Big Data

eu suponho que P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B) = P(A | B,C) * P(C) + P(A|B,\neg C) * P(\neg C) está correto, enquanto P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B) = P(A | B,C) + P(A|B,\neg C) está incorreto. No entanto, tenho uma "intuição" sobre a mais recente, ou seja, você considera a probabilidade P (A | B) dividindo dois …

15 probability  bayesian 

Li várias vezes que efeitos aleatórios (BLUPs / modos condicionais para, digamos, sujeitos) não são parâmetros de um modelo linear de efeitos mistos, mas podem ser derivados dos parâmetros estimados de variância / covariância. Por exemplo, Reinhold Kliegl et al. (2011) afirmam: Efeitos aleatórios são os desvios dos indivíduos em …

15 mixed-model  intuition  blup 

Estou interessado em alterar as hipóteses nulas usando glm()em R. Por exemplo: x = rbinom(100, 1, .7) summary(glm(x ~ 1, family = "binomial")) testa a hipótese de que p=0.5p=0.5p = 0.5 . E se eu quiser alterar o valor nulo para ppp = algum valor arbitrário glm()? Sei que isso …

15 r  hypothesis-testing  generalized-linear-model  chi-squared  offset 

Eu posso pensar em pelo menos um exemplo ingênuo. Suponha que eu queira estudar a relação entre X e Z. Eu também suspeito que Y influencia Z, então eu controlo Y. No entanto, como se sabe, sem o meu conhecimento, X causa Y e Y causa Z. Portanto, controlando para …

15 mediation  controlling-for-a-variable 

Entendo o raciocínio por trás da divisão dos dados em um conjunto de teste e um conjunto de validação. Também entendo que o tamanho da divisão dependerá da situação, mas geralmente variará de 50/50 a 90/10. Eu construí um RNN para corrigir a ortografia e começar com um conjunto de …

15 machine-learning  neural-networks  validation 

A média de várias matrizes positivas definidas é necessariamente definida positiva ou semi-definida positiva? A média é média dos elementos.

15 mathematical-statistics  matrix  covariance-matrix 

Eu acho que tenho alguma confusão fundamental sobre como as funções da regressão logística funcionam (ou talvez apenas funcionem como um todo). Como é que a função h (x) produz a curva vista à esquerda da imagem? Vejo que esse é um gráfico de duas variáveis, mas essas duas variáveis …

15 logistic  data-visualization  function 

Eu sou um noob em estatística, então vocês poderiam me ajudar aqui. Minha pergunta é a seguinte: O que realmente significa variação combinada ? Quando procuro uma fórmula para variação combinada na Internet, encontro muita literatura usando a seguinte fórmula (por exemplo, aqui: http://math.tntech.edu/ISR/Mathematical_Statistics/Introduction_to_Statistical_Tests/thispage/newnode19.html ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle S^2_p = …

15 variance  mean  pooling 

Gostaria de obter conselhos sobre como agrupar os gráficos / estatísticas de calibração após imputação múltipla. No cenário do desenvolvimento de modelos estatísticos para prever um evento futuro (por exemplo, usando dados de registros hospitalares para prever a sobrevivência ou eventos após a alta hospitalar), pode-se imaginar que há algumas …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Existem muitas publicações que enfatizam o método de Maximização de Expectativas em modelos de mistura (Mistura de Gaussiana, Modelo de Markov Oculto, etc.). Por que EM é importante? O EM é apenas uma maneira de otimizar e não é amplamente usado como método baseado em gradiente (gradiente decente ou método …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Estou trabalhando em um problema de cluster de texto. Os dados contêm várias frases. Existe um bom algoritmo que alcance alta precisão em textos curtos? Você pode fornecer boas referências? Algoritmos como KMeans, clustering espectral não funcionam bem para esse problema.

15 machine-learning  clustering  text-mining 

Eu tenho um modelo de previsão testado com quatro métodos, como você pode ver na figura do boxplot abaixo. O atributo que o modelo prevê está no intervalo de 0 a 8. Você pode perceber que há um limite superior externo e três limites inferiores indicados por todos os métodos. …

15 regression  machine-learning  multiple-regression  predictive-models  outliers 

Seja {Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^n uma família de variáveis ​​aleatórias iid assumindo valores em [0,1][0,1][0,1] , tendo uma média e variância . Um intervalo de confiança simples para a média, usando sempre que for conhecido, é dado por μμ\muσ2σ2\sigma^2σσ\sigmaP(|X¯−μ|>ε)≤σ2nε2≤1nε2(1).P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1). P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1). …

15 normal-distribution  confidence-interval  references  asymptotics  approximation 

Durante o treinamento de um classificador binário de rede neural simples, recebo um alto valor de perda usando entropia cruzada. Apesar disso, o valor da precisão no conjunto de validação é bastante bom. Isso tem algum significado? Não existe uma correlação estrita entre perda e precisão? Tenho no treinamento e …

15 neural-networks  accuracy 

Eu sei que o PCA regular não segue o modelo probabilístico dos dados observados. Então, qual é a diferença básica entre PCA e PPCA ? No PPCA, o modelo de variável latente contém, por exemplo, variáveis ​​observadas yyy , latentes (variáveis ​​não observadas ) e uma matriz que não precisa …

15 pca