Estatísticas e Big Data

Tanto na literatura sobre a taxa de erro familiar (FWER) quanto na taxa de falsas descobertas (FDR), métodos particulares de controle da FWER ou FDR são considerados apropriados para testes dependentes ou independentes. Por exemplo, no artigo de 1979 "Um procedimento simples de teste múltiplo sequencialmente rejeitivo", Holm escreveu para …

18 multiple-comparisons  independence  non-independent  familywise-error  false-discovery-rate 

Gostaria de detectar alterações nos dados de séries temporais, que geralmente têm a mesma forma. Até agora, trabalhei com o changepointpacote para R e as funções cpt.mean(), cpt.var()e cpt.meanvar(). cpt.mean()com o método PELT funciona bem quando os dados geralmente permanecem em um nível. No entanto, eu também gostaria de detectar …

18 r  time-series  change-point  structural-change 

Para minha tese de mestrado, estou trabalhando no desenvolvimento de um modelo estatístico para as transições entre diferentes estados, definido pelo status sorológico. Por enquanto, não darei muitos detalhes nesse contexto, pois minha pergunta é mais geral / teórica. Enfim, minha intuição é que eu deveria estar usando um Hidden …

18 machine-learning  self-study  hidden-markov-model 

No famoso experimento de chá de senhora com degustação de RA Fisher, a mulher é informada de quantos copos de leite primeiro / primeiro chá há (4 para cada um dos 8 copos). Isso respeita a suposição total marginal fixa do teste exato de Fisher. Eu estava imaginando fazer esse …

18 hypothesis-testing  statistical-significance  fishers-exact  conditioning 

Suponhamos que temos fontes independentes, X 1 , X 2 , . . . , X n e observo m misturas convexas: Y 1nnnX1,X2,...,XnX1,X2,...,XnX_1, X_2, ..., X_nmmmY1...Ym=a11X1+a12X2+⋯+a1nXn=am1X1+am2X2+⋯+amnXnY1=a11X1+a12X2+⋯+a1nXn...Ym=am1X1+am2X2+⋯+amnXn\begin{align} Y_1 &= a_{11}X_1 + a_{12}X_2 + \cdots + a_{1n}X_n\\ ...&\\ Y_m &= a_{m1}X_1 + a_{m2}X_2 + \cdots + a_{mn}X_n \end{align} com para todos …

18 pca  ica 

Digamos que eu tenha uma amostra e a amostra de bootstrap dessa amostra para um estastítico (por exemplo, a média). Como todos sabemos, esta amostra de bootstrap estima a distribuição amostral do estimador da estatística.χχ\chi Agora, a média dessa amostra de bootstrap é uma estimativa melhor da estatística da população …

18 estimation  bootstrap 

Suponha que eu tenha dados com dois grupos independentes: g1.lengths <- c (112.64, 97.10, 84.18, 106.96, 98.42, 101.66) g2.lengths <- c (84.44, 82.10, 83.26, 81.02, 81.86, 86.80, 85.84, 97.08, 79.64, 83.32, 91.04, 85.92, 73.52, 85.58, 97.70, 89.72, 88.92, 103.72, 105.02, 99.48, 89.50, 81.74) group = rep (c ("g1", "g2"), c …

18 r  hypothesis-testing  bootstrap  small-sample  permutation-test 

Uma sequência de estimadores UnUnU_n para um parâmetro θθ\theta é assintoticamente normal se n−−√(Un−θ)→N(0,v)n(Un−θ)→N(0,v)\sqrt{n}(U_n - \theta) \to N(0,v). (fonte) Em seguida, chamamosvvva variação assintótica deUnUnU_n. Se essa variância for igual aolimite Cramer-Rao, dizemos que o estimador / sequência é assintoticamente eficiente. Pergunta: Por que usamos n−−√n\sqrt{n} em particular? Eu sei …

18 estimation  asymptotics  efficiency 

Há mais de um ano, dou uma aula de uma hora "gosto pela estatística". Cada vez que recebo um grupo diferente de crianças, dou aulas para elas. O tema da aula é que realizamos um experimento no qual 10 crianças (que gostam de beber coca-cola) recebem duas xícaras (não marcadas), …

18 hypothesis-testing  teaching 

Eu trabalho em um domínio problemático em que as pessoas frequentemente relatam ROC-AUC ou AveP (precisão média). No entanto, recentemente encontrei trabalhos que otimizam a perda de log , enquanto outros relatam perda de dobradiça . Embora eu entenda como essas métricas são calculadas, estou tendo dificuldades para entender as …

18 loss-functions 

O que se quer dizer com a afirmação de que a curtose de uma distribuição normal é 3. Significa que na linha horizontal o valor de 3 corresponde à probabilidade de pico, ou seja, 3 é o modo do sistema? Quando olho para uma curva normal, parece que o pico …

18 normal-distribution  moments  kurtosis 

A questão já foi apresentada antes, mas quero fazer uma pergunta específica que tentará obter uma resposta que a esclareça (e classifique): Em "Assintóticos do pobre homem", mantém-se uma clara distinção entre (a) uma sequência de variáveis ​​aleatórias que converge em probabilidade para uma constante em contraste com (b) uma …

18 mathematical-statistics  variance  convergence  asymptotics  consistency 

Retirado de Grimmet e Stirzaker : Mostre que não pode ser o caso de U = X + Y, emU=X+YU=X+Y que é uniformemente distribuído em [0,1] e e são independentes e distribuídos de forma idêntica. Você não deve assumir que X e Y são variáveis ​​contínuas.UUUXXXYYY Uma prova simples por …

18 probability  random-variable  continuous-data  uniform  proof 

Eu esperava que alguém pudesse propor um argumento explicando por que as variáveis ​​aleatórias e , com a distribuição normal padrão, são estatisticamente independentes. A prova desse fato decorre facilmente da técnica MGF, mas acho extremamente contra-intuitiva.Y1=X2−X1Y1=X2−X1Y_1=X_2-X_1Y2=X1+X2Y2=X1+X2Y_2=X_1+X_2XiXiX_i Eu apreciaria, portanto, a intuição aqui, se houver. Agradeço antecipadamente. EDIT : Os …

18 probability  self-study  mathematical-statistics 

De qualquer algoritmo de amostragem genérico, pode-se derivar um algoritmo de otimização. De fato, para maximizar uma função arbitrária , basta extrair amostras de . Para pequeno o suficiente, essas amostras ficarão próximas do máximo global (ou máximo local na prática) da função .f: x → f( X )f:x→f(x)f: \textbf{x} …

18 sampling  optimization