Estatísticas e Big Data

"P-hacking", "fishing" e "garden of bifurcação", como explicado aqui e aqui, descrevem um estilo exploratório de análise de dados, semelhante a uma pesquisa que produz estimativas tendenciosas. O teste de premissas do modelo (por exemplo, normalidade, homocedasticidade em regressão) usa testes estatísticos no mesmo conjunto de dados usado para ajustar …

7 hypothesis-testing  model-selection  multiple-comparisons  assumptions  philosophical 

Tentei diferentes consultas de pesquisa no google, mas não consegui encontrar uma resposta. Que tipo de gráfico é esse?

7 data-visualization 

Entendo o conceito de compensação de desvio e desvio. O viés baseado no meu entendimento representa o erro devido ao uso de um classificador simples (por exemplo: linear) para capturar um limite de decisão não linear complexo. Então, eu esperava que o estimador OLS tivesse alto viés e baixa variação. …

7 regression  machine-learning  least-squares  unbiased-estimator  blue 

Temos algumas perguntas e respostas sobre quando alguém prefere uma estimativa tendenciosa a uma imparcial, mas não encontrei nada na pergunta inversa: Em que situações é importante considerar apenas estimadores imparciais ? Muita ênfase é colocada no conceito de imparcialidade, nos cursos estatísticos introdutórios, mas nunca li uma defesa convincente …

7 estimation  bias  unbiased-estimator 

Se , onde e for uma sequência de variáveis ​​aleatórias positivas, qual o tamanho ?E|Xn|=O(an)E|Xn|=O(an)\mathbb{E}|X_n|=O(a_n)an→0an→0a_n\to 0XnXnX_nYn=Xnln(1Xn)Yn=Xnln⁡(1Xn)Y_n = X_n\ln\left(\frac{1}{X_n}\right) Minha tentativa: pela desigualdade de Markov implica e . Resta avaliar . Para alguma sequência positiva de variáveis ​​aleatóriasE|Xn|=O(an)E|Xn|=O(an)\mathbb{E}|X_n|=O(a_n)Xn=Op(an)Xn=Op(an)X_n=O_p(a_n)Yn=Op(an)ln(1Xn)Yn=Op(an)ln⁡(1Xn)Y_n = O_p(a_n)\ln\left(\frac{1}{X_n}\right)ln(1Xn)ln⁡(1Xn)\ln\left(\frac{1}{X_n}\right)Zn=Op(1)Zn=Op(1)Z_n=O_p(1) Xn=umanZn⟺em(Xn) = ln(uman) + ln(Zn)⟺em(1 1Xn)em(1 1uman)=em(Zn)em(uman)+ 1Xn=anZn⟺ln⁡(Xn)=ln⁡(an)+ln⁡(Zn)⟺ln⁡(1Xn)ln⁡(1an)=ln⁡(Zn)ln⁡(an)+1\begin{equation} \begin{aligned} X_n = …

7 probability  asymptotics  moments  probability-inequalities 

A distribuição Erlang tem uma interpretação direta em termos de tempo de espera para a ocorrência de um número predefinido de eventos em um processo de Poisson ou a soma de um número predefinido de variáveis ​​aleatórias exponenciais. A distribuição gama é mais geral, pois permite um parâmetro não inteiro, …

7 distributions  modeling  gamma-distribution  poisson-process 

fundo Estou estudando coincidências comuns e coincidências "próximas" que, no entanto (indevidamente) impressionam a pessoa comum. A pergunta abaixo é uma extensão do famoso problema do aniversário , que pergunta "Quantas pessoas, escolhidas aleatoriamente, são necessárias para que haja 50% de chance de duas delas compartilharem o mesmo aniversário?" A …

7 conditional-probability  combinatorics  birthday-paradox 

Uma dica útil seria apreciada porque parece que não consigo descobrir como calcular o valor esperado Um lote contém 17 itens, cada um dos quais sujeito a inspeção por dois engenheiros de garantia de qualidade. Cada engenheiro seleciona aleatoriamente e independentemente 4 itens do lote. Determine o número esperado de …

7 self-study  expected-value  indicator-function 

Deixei XXX e YYY seja iid ∼ Nou r m a l ( 0 , 1 )∼Normumaeu(0 0,1 1)\sim Normal(0,1) Deixei A = m a x ( X,Y)UMA=mumax(X,Y)A=max(X,Y) e B = m i n ( X,Y)B=mEun(X,Y)B=min(X,Y) O que são Va r ( A )Vumar(UMA)Var(A) e Va r ( B )Vumar(B)Var(B)? …

7 self-study  variance  maximum  iid  minimum 

Eu tenho dois conjuntos de dados que contêm as palavras mais comuns e suas frequências de dois artigos diferentes. por exemplo: A = [apple: 23, healthy: 15, tasty: 4] B = [apple: 19, healthy: 21, bad: 7] Ambos os conjuntos de dados contêm palavras semelhantes. Quero encontrar uma medida que …

7 natural-language  similarities 

Antecedentes: o ajuste de erro ao quadrado mínimo existe há algum tempo. Laplace, PS "Os métodos analíticos do cálculo das probabilidades". CH. 4 em Théorie analytique des probabilités, Livre 2, 3ª ed. Paris: Courcier, 1820. Gauss, CF "Theoria combinaçãois obsevationum erroribus minimis obnoxiae". Werke, vol. 4. Göttingen, Alemanha: p. 1, …

7 least-squares  linear-model  history 

Dois eventos são independentes quando , estou tentando me aprofundar nessa definição e tentar reconciliá-la com nossa idéia intuitiva de independência no mundo real. Eu sinto que a equação pode ser alcançada por acidente, sem qualquer fundamento para uma independência real.A , BA,BA,BP( A ∩ B ) = P( A …

7 probability  independence  philosophical 

Eu sou um estudante de estatística de doutorado. Estou trabalhando com um conjunto de dados de contagem. É a contagem de usuários envolvidos em uma conversa de bate-papo em tempo real. O número de usuários varia de 1 a 6 e existem aproximadamente 300 dados no conjunto. Minha motivação inicial …

7 r  distributions  modeling  poisson-distribution 

Existem bons exemplos de um problema de probabilidade aparentemente simples, que é realmente intratável? Estou tentando motivar o uso da simulação e gostaria de dar um exemplo de quando é necessário que seja acessível. A esperança é algo como: "Intuitivamente, parece fácil modelar a quantidade de ases restantes após uma …

7 probability  simulation  probabilistic-programming 

Eu estou tentando encontrar a distribuição da soma de 2 variáveis ​​aleatórias lognormal. Consultei a literatura disponível em Cross validated, Stack overflow e poucos documentos antes de postar isso. Eu usei a convolução para encontrar a distribuição da soma de 2 rvs lognormais. A aproximação funciona para a diferença. Mas, …

7 probability  distributions  mathematical-statistics  lognormal  sum