Estatísticas e Big Data

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 6 anos . Estou procurando um corpus de texto grande (> 1000) para fazer o download. De preferência …

16 dataset 

Estou procurando várias maneiras de explicar aos meus alunos (em um curso básico de estatística) o que é um teste bicaudal e como o valor P é calculado. Como você explica a seus alunos o teste bicaudal ou bicaudal?

16 hypothesis-testing  p-value  teaching 

Existe uma "regra" para determinar o tamanho mínimo da amostra necessário para que um teste t seja válido? Por exemplo, uma comparação precisa ser realizada entre as médias de 2 populações. Existem 7 pontos de dados de uma população e apenas 2 pontos de dados da outra. Infelizmente, o experimento …

16 t-test  sample-size  small-sample  wilcoxon-mann-whitney 

Suponha que temos dois pontos (a figura a seguir: círculos pretos) e queremos encontrar um valor para um terceiro ponto entre eles (cruz). De fato, vamos estimar isso com base em nossos resultados experimentais, os pontos negros. O caso mais simples é desenhar uma linha e depois encontrar o valor …

16 estimation  interpolation 

Existem bons livros que explicam conceitos importantes da teoria das probabilidades, como funções de distribuição de probabilidade e funções de distribuição cumulativa? Por favor, evite consultar livros como "Estatística Matemática e Análise de Dados", de John Rice, que começam com conceitos simples de permutação e, subitamente (no 2º capítulo), dão …

16 probability  self-study  distributions  references  theory 

Eu tenho tentado codificar um algoritmo para sugerir apostas em jogos 1X2 (ponderados). Basicamente, cada jogo tem um conjunto de partidas (times em casa x fora): 1: vitórias em casa X: desenhar 2: vitórias fora Para cada correspondência e símbolo ( 1, Xe 2), atribuirei uma porcentagem que represente as …

16 optimization 

Eu tenho um conjunto de dados, quero criar clusters nesses dados com base em apenas uma variável (não há valores ausentes). Eu quero criar 3 clusters com base nessa variável. Qual algoritmo de clustering usar, k-means, EM, DBSCAN etc.? Minha principal pergunta é: em que circunstâncias devo usar k-means em …

16 clustering 

Tudo bem usar o teste de ajuste de Kolmogorov-Smirnov para comparar duas distribuições empíricas para determinar se elas parecem ter vindo da mesma distribuição subjacente, em vez de comparar uma distribuição empírica com uma distribuição de referência pré-especificada? Deixe-me tentar perguntar de outra maneira. Coleto N amostras de alguma distribuição …

16 hypothesis-testing  distributions  kolmogorov-smirnov 

Eu tentei várias vezes "ir sozinho" - mas com sucesso limitado. Sou um usuário ocasional do SPSS e tenho alguma experiência com SAS. Gostaria de receber um ponteiro ou dois de alguém que tenha antecedentes semelhantes e agora use R.

16 r  references 

Estou tentando executar o cluster no nível do documento. Eu construí a matriz de frequência termo-documento e estou tentando agrupar esses vetores de alta dimensão usando k-means. Em vez de agrupar diretamente, o que eu fiz foi aplicar primeiro a decomposição de vetor singular do LSA (Latent Semantic Analysis) para …

16 clustering  pca  dimensionality-reduction  text-mining  svd 

Eu pensei que 'pooling data' simplesmente significava combinar dados que anteriormente eram divididos em categorias ... essencialmente, ignorando as categorias e tornando o conjunto de dados um gigantesco 'pool' de dados. Eu acho que essa é uma pergunta mais sobre terminologia do que sobre aplicação de estatísticas. Por exemplo: eu …

16 terminology 

Estou tentando gerar amostras aleatórias de um pdf personalizado usando R. Meu pdf é: fX( x ) = 32( 1 - x2) , 0 ≤ x ≤ 1fX(x)=32(1-x2),0 0≤x≤1f_{X}(x) = \frac{3}{2} (1-x^2), 0 \le x \le 1 Gerei amostras uniformes e tentei transformá-lo em minha distribuição personalizada. Eu fiz isso …

16 r  sampling  uniform 

Alguém poderia me dizer o que o termo 'persistência' significa na análise de séries temporais? É sobre econometria e regressão aplicada.

16 regression  time-series  econometrics  terminology 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Graças à pergunta do Tormod (postada aqui ), me deparei com o enredo Parallel Sets . Aqui está um exemplo …

16 r  data-visualization  categorical-data  interactive-visualization 

Em geral, padronizo minhas variáveis ​​independentes em regressões, a fim de comparar adequadamente os coeficientes (dessa forma, eles têm as mesmas unidades: desvios-padrão). No entanto, com dados longitudinais / em painel, não tenho certeza de como devo padronizar meus dados, especialmente se estimar um modelo hierárquico. Para ver por que …

16 r  regression  standardization