Estatísticas e Big Data

Alguém pode me apontar alguma referência para a teoria sobre inicialização de uma amostra de uma população de tamanho conhecido? Estou acostumado a usar o Bootstrap para calcular intervalos de confiança de uma amostra quando o tamanho da população é considerado muito maior que a amostra (portanto, uma seleção aleatória …

8 confidence-interval  sampling  bootstrap  finite-population 

Antecedentes: Estou trabalhando em uma revisão sistemática, incluindo várias modalidades de imagem para doença arterial coronariana, mas a rede de evidências é bastante grande, incluindo diferentes modalidades, geralmente comparada entre si em uma ampla rede. A metanálise de rede é uma abordagem estabelecida para ensaios clínicos randomizados, com várias abordagens …

8 meta-analysis  diagnostic  network-meta-analysis  systematic-review 

É sabido que o algoritmo k-means sofre na presença de outliers. O k-means ++ é um método eficaz para a initalização do centro de cluster. Eu estava analisando o PPT pelos fundadores do método, Sergei Vassilvitskii e David Arthur http://theory.stanford.edu/~sergei/slides/BATS-Means.pdf (slide 28), que mostra que a inicialização do centro de …

8 clustering  k-means 

Eu li várias postagens sobre o pacote de sinal de intercalação e estou especificamente interessado na função de trem . No entanto, não tenho certeza se entendi corretamente como a função do trem funciona. Para ilustrar meus pensamentos atuais, compus um exemplo rápido. Primeiro, um especifica uma grade de parâmetros. …

8 r  cross-validation  caret  train 

Eu tenho os seguintes dados, que podem ser modelados por distribuição exponencial Time 0-20 20-40 40-60 60-90 90-120 120-inf Frequency 41 19 16 13 9 2 Para testar se os dados seguem a distribuição exponencial, usarei a estatística de teste do qui-quadrado. Mas, para isso, também preciso calcular lambda ( …

8 estimation  chi-squared  mean  exponential  binning 

Estou estudando sobre redes neurais artificiais (RNA) pela primeira vez e estou impressionado com a forma como os conceitos de redes neurais parecem ser semelhantes à modelagem de equações estruturais (SEM). Por exemplo, nós de entrada na RNA me lembram variáveis ​​manifestas no SEM Nós ocultos na RNA lembram variáveis …

8 machine-learning  neural-networks  sem 

No problema de triagem de mamografia comumente mencionado, com uma probabilidade de triagem de 80%, um valor anterior a 10% e uma taxa de falsos positivos de 50%, ou suas variantes, é fácil explicar que a probabilidade condicional posterior de uma triagem positiva indicar um câncer está presente é de …

8 normalization  bayes  marginal 

Eu sou novo no HMM e ainda estou aprendendo. Atualmente, estou usando o HMM para marcar parte do discurso. Para implementar o algoritmo viterbi, preciso de probabilidades de transição ( ai,jai,j a_{i,j} \newcommand{\Count}{\text{Count}} ) e de probabilidades de emissão ( bi(o)bi(o) b_i(o) ). Estou gerando valores para essas probabilidades usando …

8 probability  hidden-markov-model  laplace-smoothing  viterbi-algorithm 

Na boxplot()função em R, existe o log =argumento para especificar se um eixo deve ou não estar na escala de log. Para mim, se eu escolher esta opção (especificar log = "y"como argumento), a forma do gráfico de caixa deve ser a mesma que se eu transformas manualmente os dados …

8 r  data-transformation  lognormal  boxplot 

Eu tentei executar uma fórmula semelhante a y ~ 1. Isso me dá apenas uma interceptação, mas o valor mostrado é igual à estimativa de interceptação (sem covariáveis) + 1 ou apenas à estimativa de interceptação (sem covariáveis)? Qualquer ajuda seria apreciada.

8 r  regression 

Suponha que a especificação de regressão seja yEu=β0 0+β1 1xEu+ϵEu,yi=β0+β1xi+ϵi,y_i=\beta_0+\beta_1x_i+\epsilon_i, Não importa xEuxix_i estocástico ou não, precisaremos assumir que ϵEuϵi\epsilon_i é distribuído da mesma forma para todos Euii. No entanto, sexEuxix_ié uma variável aleatória estocástica em vez de um valor fixo; é necessário outro pressuposto, a saber, que o termo …

8 regression  linear-model 

Digamos que eu tenha esses dados binados como entrada. O valor médio é fornecido para cada intervalo sucessivo de . Para simplificar, vamos assumir que a densidade de amostragem é uniforme dentro de cada compartimento.y¯iy¯i\bar{y}_iΔxiΔxi\Delta x_i Agora, quero estimar a função subjacente ( ), ou seja, desejo obter estimativas razoáveis …

8 algorithms  interpolation  binning 

Se eu tiver razões teóricas para supor que os dados possam se encaixar em uma equação incomum, como a seguinte: YEu= (β0 0+β1 1x1 i+β2x2 i+ϵEu)β3Yi=(β0+β1x1i+β2x2i+ϵi)β3Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)^{\beta_3} Posso usar a regressão linear múltipla de mínimos quadrados ordinários após uma transformação para estimar os …

8 r  regression  nonlinear-regression 

Alguns de meus amigos / colegas recentemente se interessaram pela modelagem de equações estruturais, e eu tenho tido que responder a um número crescente de perguntas sobre SEM. Muitas vezes, essas perguntas são sobre como interpretar o significado das estimativas de vários parâmetros do modelo de medição (ou seja, cargas …

8 factor-analysis  sem  confirmatory-factor 

Suponha que tenhamos matriz \ mathbf {M} . Diferentes transformações usando diferentes operadores em colunas podem levar a uma nova matriz simétrica \\ p \ times p \ mathbf {S} . Por exemplo, a matriz de covariância \ mathbf {C} pode ser calculada usando o operador de produto escalar , …

8 correlation  terminology  covariance-matrix