Estatísticas e Big Data

Eu estou em epidemiologia. Não sou estatístico, mas tento fazer as análises pessoalmente, embora muitas vezes encontre dificuldades. Fiz minha primeira análise há 2 anos. Os valores de p foram incluídos em todos os lugares nas minhas análises (eu simplesmente fiz o que outros pesquisadores estavam fazendo), desde tabelas descritivas …

28 probability  hypothesis-testing  statistical-significance  p-value 

Eu tenho uma pergunta relacionada à regressão e interação múltipla, inspirada neste tópico do CV: Termo de interação usando análise de regressão hierárquica de variáveis ​​centralizadas? Quais variáveis ​​devemos centralizar? Ao verificar um efeito de moderação, centralizo minhas variáveis ​​independentes e multiplico as variáveis ​​centralizadas para calcular meu termo de …

28 regression  interaction  centering 

Existem três variáveis ​​aleatórias, x,y,zx,y,zx,y,z . As três correlações entre as três variáveis ​​são as mesmas. Isso é, ρ=cor(x,y)=cor(x,z)=cor(y,z)ρ=cor(x,y)=cor(x,z)=cor(y,z)\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z) Qual é o limite mais rígido que você pode dar para ρρ\rho ?

28 correlation  correlation-matrix 

Eu gostaria de entender, qual é a principal diferença de implementação entre os algoritmos de agrupamento padrão e esférico de k-means. Em cada etapa, k-means calcula as distâncias entre vetores de elementos e centróides do cluster e reatribui o documento a esse cluster, cujo centróide é o mais próximo. Então, …

28 clustering  data-mining  algorithms  k-means 

Eu tenho um conjunto de dados com 9 variáveis ​​independentes contínuas. Estou tentando selecionar entre essas variáveis ​​para ajustar um modelo a uma única variável percentual (dependente) Score. Infelizmente, eu sei que haverá uma colinearidade séria entre várias das variáveis. Eu tentei usar a stepAIC()função em R para seleção de …

28 r  multiple-regression  feature-selection  multicollinearity 

Um investigador deseja produzir uma análise combinada de vários conjuntos de dados. Em alguns conjuntos de dados, existem observações emparelhadas para o tratamento A e B. Em outros, existem dados A e / ou B não emparelhados. Estou procurando uma referência para uma adaptação do teste t, ou para um …

28 hypothesis-testing  t-test  paired-data  change-scores 

Eu li sobre controvérsias a respeito do teste de hipóteses com alguns comentaristas sugerindo que o teste de hipóteses não deve ser usado. Alguns comentaristas sugerem que os intervalos de confiança devem ser usados. Qual é a diferença entre intervalos de confiança e teste de hipóteses? Explicação com referência e …

28 hypothesis-testing  confidence-interval 

Gostaria de entender por que, no âmbito do modelo OLS, o RSS (soma dos quadrados dos resíduos) é distribuído ( sendo o número de parâmetros do modelo, o número de observações).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Peço desculpas por fazer uma pergunta tão básica, mas parece que não consigo encontrar a resposta on-line (ou …

28 regression  distributions  least-squares 

Nas estatísticas bayesianas, é freqüentemente mencionado que a distribuição posterior é intratável e, portanto, deve ser aplicada uma inferência aproximada. Quais são os fatores que causam essa intratabilidade?

28 bayesian  approximation  inference 

Eu tenho uma matriz em que a (i, j) me diz quantas vezes eu visualizei a página j. Existem 27 mil indivíduos e 95 mil páginas. Eu gostaria de ter um punhado de "dimensões" ou "aspectos" no espaço das páginas que corresponderiam a conjuntos de páginas que geralmente são vistos …

28 r  clustering  dimensionality-reduction 

Estou treinando uma rede neural simples no conjunto de dados CIFAR10. Após algum tempo, a perda de validação começou a aumentar, enquanto a precisão da validação também aumentou. A perda e a precisão do teste continuam a melhorar. Como isso é possível? Parece que, se a perda de validação aumentar, …

28 neural-networks  deep-learning  conv-neural-network  overfitting 

Acabei de começar a ler sobre GPs e, de forma análoga à distribuição gaussiana regular, ela é caracterizada por uma função média e a função de covariância ou o kernel. Eu estava conversando e o palestrante disse que a função média geralmente é bastante desinteressante e todo o esforço de …

28 gaussian-process 

Eu nunca tive a oportunidade de visitar um curso de estatística de uma faculdade de matemática. Estou procurando um livro de teoria e estatística das probabilidades que seja completo e auto-suficiente. Por completo, quero dizer que ele contém todas as provas e não apenas os resultados dos estados. Por auto-suficiente, …

28 probability  self-study  mathematical-statistics  references 

Uma distribuição com média finita e variação infinita pode ter uma função geradora de momentos? Que tal uma distribuição com média finita e variação finita, mas infinitos momentos mais altos?

28 variance  moments  mgf 

O teste do aluno requer o desvio padrão da amostra s . No entanto, como computo s quando apenas o tamanho e a média da amostra são conhecidos?tttssssss Por exemplo, se o tamanho da amostra for e a média da amostra for 112 , tentarei criar uma lista de 49 …

28 t-test  standard-deviation  small-sample