Estatísticas e Big Data

Acabei de ser apresentado (vagamente) à covariância / correlação browniana / à distância . Parece particularmente útil em muitas situações não lineares, ao testar a dependência. Mas não parece ser usado com muita frequência, embora covariância / correlação sejam frequentemente usadas para dados não lineares / caóticos. Isso me faz …

21 correlation  covariance  distance-covariance 

Uma limitação dos algoritmos de rede neural padrão (como backprop) é que você precisa tomar uma decisão de design de quantas camadas ocultas e neurônios por camada deseja. Geralmente, a taxa de aprendizagem e a generalização são altamente sensíveis a essas opções. Esta foi a razão pela qual algoritmos de …

21 neural-networks 

Eu li bastante modelos de Markov ocultos e pude codificar uma versão bastante básica dele. Mas há duas maneiras principais que pareço aprender. Um é ler e implementá-lo no código (o que é feito) e o segundo é entender como isso se aplica em diferentes situações (para que eu possa …

21 algorithms  markov-process 

Eu sempre tive a impressão de que a regressão é apenas uma forma mais geral de ANOVA e que os resultados seriam idênticos. Recentemente, no entanto, executei uma regressão e uma ANOVA nos mesmos dados e os resultados diferem significativamente. Ou seja, no modelo de regressão, os efeitos principais e …

21 r  regression  anova 

Existem muitas situações em que você pode treinar vários classificadores diferentes ou usar vários métodos diferentes de extração de recursos. Na literatura, os autores geralmente fornecem o erro médio de classificação em um conjunto de divisões aleatórias dos dados (ou seja, após uma validação cruzada duplamente aninhada) e, às vezes, …

21 classification  statistical-significance 

Vou deixar a Wikipedia explicar como o NPS é calculado: A Pontuação do Promotor Líquido é obtida perguntando aos clientes uma única pergunta na escala de classificação de 0 a 10, em que 10 é "extremamente provável" e 0 é "quase impossível": "Qual a probabilidade de você recomendar nossa empresa …

21 hypothesis-testing  statistical-significance  standard-error  multinomial  nps 

Especificamente, estou procurando referências (papéis, livros) que mostrem e expliquem rigorosamente a maldição da dimensionalidade. Essa questão surgiu depois que comecei a ler este white paper de Lafferty e Wasserman. No terceiro parágrafo, eles mencionam uma equação "bem conhecida" que implica que a melhor taxa de convergência é ; se …

21 theory 

Ao trabalhar com a cadeia de Markov Monte Carlo para extrair inferência, precisamos de uma cadeia que se misture rapidamente, ou seja, mova rapidamente o suporte da distribuição posterior. Mas não entendo por que precisamos dessa propriedade, porque, pelo que entendi, o candiado aceito deve e se concentrará na parte …

21 mcmc 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Eu criei um modelo linear em R: mod = lm(train_y ~ train_x). Quero passar uma lista de Xs e obter …

21 r  forecasting  linear-model 

O que significa dizer que "a variação é um estimador tendencioso". O que significa converter uma estimativa tendenciosa em uma estimativa imparcial por meio de uma fórmula simples. O que essa conversão faz exatamente? Além disso, qual é o uso prático dessa conversão? Você converte essas pontuações ao usar certo …

21 theory  unbiased-estimator  descriptive-statistics 

Eu queria saber, é possível ter um coeficiente de correlação muito forte (digamos 0,9 ou superior), com um valor de p alto (digamos 0,25 ou mais)? Aqui está um exemplo de um baixo coeficiente de correlação, com um alto valor de p: set.seed(10) y <- rnorm(100) x <- rnorm(100)+.1*y cor.test(x,y) …

21 r  hypothesis-testing  correlation 

Eu preciso calcular a matriz inversa e tenho usado a solvefunção. Embora funcione bem em matrizes pequenas, solvetende a ser muito lento em matrizes grandes. Eu queria saber se existe alguma outra função ou combinação de funções (por meio de SVD, QR, LU ou outras funções de decomposição) que possa …

21 r  matrix-decomposition  matrix-inverse 

Eu gostaria de usar um modelo de regressão logística binária no contexto de streaming de dados (séries temporais multidimensionais) para prever o valor da variável dependente dos dados (ou seja, linha) que acabou de chegar, dadas as observações anteriores. Até onde eu sei, a regressão logística é tradicionalmente usada para …

21 r  time-series  logistic 

Contexto Eu tenho lido sobre a teoria da resposta ao item e acho fascinante. Acredito que compreendo o básico, mas fiquei me perguntando como aplicar técnicas estatísticas relacionadas à área. Abaixo estão dois artigos semelhantes à área em que gostaria de aplicar o ITR: http://www.jstor.org/stable/4640738?seq=7 http://www.ncbi.nlm.nih.gov/pubmed/21744971 O segundo é o …

21 psychometrics  latent-variable  irt 

Estou lutando para entender o conceito de viés no contexto da análise de regressão linear. Qual é a definição matemática de viés? O que exatamente é tendencioso e por que / como? Exemplo ilustrativo?

21 regression  terminology  bias  definition