Estatísticas e Big Data

Se assumirmos que nossos pontos de dados foram amostrados da superfície de uma esfera (com alguma perturbação), como podemos recuperar o centro dessa esfera? Na minha pesquisa, encontrei artigos sobre algo rotulado como "regressão esférica", mas não parecia exatamente o que estava fazendo a mesma coisa. Talvez eu simplesmente não …

9 regression  nonlinear-regression 

Tenho gráficos de caixa de 13 grupos que mostro em um gráfico. Os grupos têm populações desequilibradas e não são normalmente distribuídas. Quero mostrar quais pares são estatisticamente semelhantes (ou seja, têm valor de p kruskal.test <0,05) colocando a, b, c, etc. em cima das caixas correspondentes. Aqui está um …

9 r  statistical-significance  boxplot 

Em R, como especifico o modelo lmer sem efeito fixo global? Por exemplo, se eu disser algo como lmer(y ~ (1 | group) + (0 + x | group), data = my_df) o modelo ajustado será yij=a+αi+βixijyij=a+αi+βixijy_{ij} = a + \alpha_{i} + \beta_{i} x_{ij} Como encaixo o modelo yij=αi+βixijyij=αi+βixijy_{ij} = …

9 r  mixed-model  lme4-nlme 

Esta pergunta já tem respostas aqui : Que tipo de informação é Fisher? (3 respostas) Fechado há 7 meses . A Wikipedia nos diz que a pontuação desempenha um papel importante na desigualdade de Cramér – Rao. Também define a definição: V=∂∂θlogL(θ;X)V=∂∂θlog⁡L(θ;X)V = \frac{\partial}{\partial \theta} \log{L(\theta; X)} No entanto, não …

9 intuition  probability 

Eu tenho duas perguntas relacionadas ao conceito de "consistência da aprendizagem" para aqueles que estão familiarizados com a teoria estatística da aprendizagem à la Vapnik. Questão 1. O processo de aprendizado é chamado de consistente (para a classe de funçõesFF\mathcal{F} e distribuição de probabilidade PPP) E se Re m p(f∗eu)→Pinff∈ …

9 machine-learning 

Existe alguma diferença entre os seguintes termos ou são iguais? Viés Viés sistemático Erros sistemáticos Se houver algumas diferenças, por favor, explique-as. Esses erros podem ser reduzidos quando se aumenta o tamanho da amostra? UPDATE: Meu campo de interesse é inferência estatística. Quero dizer que como diferenciamos esses termos como …

9 measurement-error  bias 

Eu tenho o seguinte tipo de dados. Avaliei 10 indivíduos, cada um repetido 10 vezes. Tenho matriz de relação 10x10 (relação entre todas as combinações dos indivíduos). set.seed(1234) mydata <- data.frame (gen = factor(rep(1:10, each = 10)), repl = factor(rep(1:10, 10)), yld = rnorm(10, 5, 0.5)) Essa geração é de …

9 r  mixed-model 

Andrew Gelman, no livro que escreveu com Jennifer Hill, declara no capítulo 9, (seção 9.3), na página 177: É apropriado apenas controlar preditores de pré-tratamento ou, mais geralmente, preditores que não seriam afetados pelo tratamento (como raça ou idade). Este ponto será ilustrado mais concretamente na Seção 9.7 ... E …

9 clinical-trials 

Estou usando o teste de duas amostras de Kolmogorov – Smirnov para comparar distribuições e notei uma ppp-value é frequentemente relatado como a estatística do teste. Como é issoppp-determinado? Eu sei que é a probabilidade de obter um resultado pelo menos tão grande quanto o obtido, mas como é issoppp-determinado, …

9 kolmogorov-smirnov 

Na figura a seguir, no lado esquerdo, duas realizações de processos pontuais com diferentes densidades (intensidade) e estão sendo misturadas, correspondendo ao centro das áreas pertencentes, para construir um processo pontual no meio com intensidade . Em seguida, pontos selecionados aleatoriamente como dois conjuntos extraídos, como mostrado no lado direito. …

9 poisson-distribution  point-process 

Estou trabalhando (auto-estudo) no livro de ET Jaynes, Probability Theory - The Logic of Science Problema original O Exercício 2.1 diz: "É possível encontrar uma fórmula geral para análoga a [a fórmula ] das regras de produto e soma. Em caso afirmativo, deduza-o; caso contrário, explique por que isso não …

9 probability  bayesian  self-study  conditional-probability 

Estou desenvolvendo sistemas de negociação automatizados para o mercado de ações. O grande desafio tem sido excessivo. Você pode recomendar alguns recursos que descrevam métodos para medir e evitar ajustes excessivos? Comecei com conjuntos de treinamento / validação, mas o conjunto de validação sempre fica corrompido. Além disso, os dados …

9 time-series  machine-learning  dataset  data-mining  validation 

Acabei de ler que agora você pode comprar um computador quântico (embora apenas um tenha sido vendido até agora!). A computação quântica terá alguma aplicação em estatística? {edit - para os propósitos da pergunta, vamos supor que eventualmente computadores quânticos (de alguma forma) funcionem}

9 theory 

Estou executando um Teste AB em uma página que recebe apenas 5 mil visitas por mês. Levaria muito tempo para atingir os níveis de tráfego necessários para medir uma diferença de + -1% entre o teste e o controle. Ouvi dizer que posso usar as estatísticas bayesianas para me dar …

9 bayesian  hypothesis-testing  ab-test 

Suponha que, em um estudo de 15 sujeitos, a variável resposta (res) seja modelada com duas variáveis ​​explicativas, uma (nível) é categórica com 5 níveis e a outra (tempo de resposta: TR) é contínua. Com o lmer no pacote lme4 do R, tenho: fm1 <- lmer(res ~ level * RT …

9 mixed-model  lme4-nlme