Estatísticas e Big Data

Estou tentando visualizar um gráfico apropriado para as observações nesta tabela de médias e desvios padrão das pontuações de recall: RecallControlMean37SD8ExperimentalMean21SD6ControlExperimentalMeanSDMeanSDRecall378216\begin{array} {c|c c|c c|} & \text{Control} & & \text{Experimental} & \\ & \text{Mean} & \text{SD} &\text{Mean} &\text{SD} \\ \hline \text{Recall} & 37 & 8 & 21 & 6 \\ \hline …

11 data-visualization  standard-deviation  mean  descriptive-statistics  barplot 

Se 20 ensaios independentes de Bernoulli forem realizados, cada um com uma probabilidade diferente de sucesso e, portanto, fracasso. Qual é a probabilidade de exatamente n dos 20 ensaios terem sucesso? Existe uma maneira melhor de calcular essas probabilidades em vez de simplesmente resumir as combinações de probabilidades de sucesso …

11 probability  distributions  bernoulli-distribution  poisson-binomial 

Contexto Isso é um pouco semelhante a esta pergunta , mas não acho que seja uma duplicata exata. Quando você procura instruções sobre como executar um teste de hipótese de autoinicialização, geralmente é afirmado que é bom usar a distribuição empírica para intervalos de confiança, mas que você precisa inicializar …

11 confidence-interval  p-value  bootstrap 

Estou lendo o livro de Larry Wasserman, All of Statistics , e atualmente sobre p-values ​​(página 187). Deixe-me apresentar algumas definições (cito): Definição 1 A função de potência de um teste com a região de rejeição é definida por O tamanho de um teste é definido como Diz-se que um …

11 hypothesis-testing  mathematical-statistics  p-value 

Diferentemente da análise de componentes principais, as soluções para os modelos de análise fatorial não são necessariamente aninhadas. Ou seja, as cargas (por exemplo) para o primeiro fator não serão necessariamente idênticas quando apenas o primeiro fator for extraído versus quando os dois primeiros fatores forem. Com isso em mente, …

11 references  factor-analysis  psychometrics 

Enquanto isso, estou estudando o LASSO ( operador menos absoluto de encolhimento e seleção). Vejo que o valor ideal para o parâmetro de regularização pode ser escolhido por validação cruzada. Vejo também na regressão de cume e em muitos métodos que aplicam a regularização, podemos usar o CV para encontrar …

11 lasso  regularization  shrinkage 

Eu tenho uma situação em que sou capaz de estimar (o primeiro) momentos de um conjunto de dados e gostaria de usá-lo para produzir uma estimativa da função de densidade.kkk Eu já me deparei com a distribuição da Pearson , mas percebi que ela depende apenas dos 4 primeiros momentos …

11 pdf  kernel-smoothing  moments 

Estou tentando incorporar cerca de 60 milhões de frases em um espaço vetorial e calcular a semelhança de cosseno entre elas. Eu tenho usado o sklearn's CountVectorizercom uma função de tokenizer personalizada que produz unigramas e bigrams. Acontece que, para obter representações significativas, tenho que permitir um número tremendo de …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Estou aprendendo sobre a seleção de recursos. Eu posso ver por que isso seria importante e útil para a construção de modelos. Mas vamos nos concentrar nas tarefas de aprendizado supervisionado (classificação). Por que a seleção de recursos é importante para tarefas de classificação? Vejo muita literatura escrita sobre a …

11 feature-selection  accuracy  regression-strategies 

Quero detectar se a colinearidade é um problema na minha regressão OLS. Entendo que os fatores de inflação de variação e o índice de condição são duas medidas comumente usadas, mas estou tendo dificuldade em encontrar algo definitivo sobre os méritos de cada abordagem ou quais devem ser as pontuações. …

11 multiple-regression  references  least-squares  multicollinearity  vif 

Suponha que eu queira aprender um classificador que use um vetor de números como entrada e dê um rótulo de classe como saída. Meus dados de treinamento consistem em um grande número de pares de entrada e saída. No entanto, quando chego ao teste de alguns dados novos, esses dados …

11 machine-learning  classification  neural-networks  deep-learning 

Estou lendo um artigo cujo método é totalmente baseado no teste da razão de verossimilhança. O autor diz que o teste LR contra alternativas unilaterais é o UMP. Ele procede alegando que "... mesmo quando não é possível demonstrar que [o teste LR] é uniformemente mais poderoso, o teste LR …

11 hypothesis-testing  power-analysis  power  likelihood-ratio  neyman-pearson-lemma 

Eu tenho que calcular a estimativa de densidade de kernel 2d (kde) a partir de uma lista de coordenadas de latitude e longitude. Mas um grau em latitude não é a mesma distância que um grau em longitude, isso significa que os núcleos individuais seriam ovais, especialmente quanto mais longe …

11 spatial  kernel-smoothing  geostatistics  geography 

Estou usando o processo gaussiano (GP) para regressão. No meu problema, é bastante comum que dois ou mais pontos de dados estejam próximos um do outro, em relação ao comprimento escalas do problema. Além disso, as observações podem ser extremamente barulhentas. Para acelerar os cálculos e melhorar a precisão da …

11 regression  machine-learning  gaussian-process 

Dada a fórmula para a estimativa MAP de um parâmetro Por que é necessária uma abordagem MCMC (ou similar), eu não poderia simplesmente pegar a derivada, defini-la como zero e depois resolver o parâmetro?

11 bayesian  estimation  mcmc