Estatísticas e Big Data

Existe algum procedimento padrão (como um que possa ser citado como referência) para selecionar o subconjunto de pontos de dados de um pool maior com a correlação mais forte (em apenas duas dimensões)? Por exemplo, digamos que você tenha 100 pontos de dados. Você deseja um subconjunto de 40 pontos …

15 regression  correlation  autocorrelation 

Eu estava me referindo a esta vídeo aula para calcular o intervalo de confiança . No entanto, tenho alguma confusão. Esse cara está usando estatísticas para o cálculo. No entanto, acho que deveria ter sido uma estatística t . Não nos é dado o verdadeiro desvio padrão da população. Estamos …

15 confidence-interval  t-distribution 

Sem citar fontes, a Wikipedia define a entropia cruzada de distribuições discretas e Q comoPPPQQQ H×( P; Q )= - ∑xp ( x )registroq( X ) .H×(P;Q)=-∑xp(x)registro⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Quem foi o primeiro a começar a usar essa quantidade? E quem inventou esse termo? …

15 information-theory  entropy 

Alguém pode resumir para mim com exemplos possíveis, em que situações o aumento dos dados de treinamento melhora o sistema geral? Quando detectamos que a adição de mais dados de treinamento poderia sobrepor-se aos dados e não fornecer boas precisões nos dados de teste? Essa é uma pergunta muito inespecífica, …

15 machine-learning  classification  dataset  precision-recall 

Suponha que tenhamos X1∼unif(n,0,1),X1∼unif(n,0,1),X_1 \sim \textrm{unif}(n,0,1), X2∼unif(n,0,1),X2∼unif(n,0,1),X_2 \sim \textrm{unif}(n,0,1), onde unif(n,0,1)unif(n,0,1)\textrm{unif}(n,0,1) é uma amostra aleatória uniforme de tamanho n, e Y=X1,Y=X1,Y=X_1, Z=0.4X1+1−0.4−−−−−−√X2.Z=0.4X1+1−0.4X2.Z = 0.4 X_1 + \sqrt{1 - 0.4}X_2. Então a correlação entre YYY e ZZZ é 0.40.40.4 . Como posso estender isso para três variáveis: , X 2 , …

15 r  correlation  random-generation  uniform 

Estou usando rlm no pacote R MASS para regredir um modelo linear multivariado. Funciona bem para várias amostras, mas estou obtendo coeficientes quase nulos para um modelo específico: Call: rlm(formula = Y ~ X1 + X2 + X3 + X4, data = mymodel, maxit = 50, na.action = na.omit) Residuals: …

15 r  multiple-regression  robust 

Na semana passada, tive uma discussão interessante com um bom amigo meu. Ele estava jogando pôquer online e sugeriu que existe uma relação entre nova assinatura / transferência de dinheiro adicional e as cartas que você recebe, ou seja, você recebe boas cartas para ser fisgado. Os sites provavelmente arriscariam …

15 binomial  games  wilcoxon-signed-rank 

Estou estudando um curso de aprendizado de máquina e os slides das palestras contêm informações que considero contraditórias com o livro recomendado. O problema é o seguinte: existem três classificadores: classificador A, que oferece melhor desempenho na faixa mais baixa dos limites, classificador B, proporcionando melhor desempenho na faixa mais …

15 machine-learning  probability  data-visualization  classification  roc 

Gostaria de configurar um algoritmo para detectar uma anomalia em séries temporais, e pretendo usar o cluster para isso. Por que devo usar uma matriz de distância para agrupar e não os dados brutos de séries temporais ?, Para a detecção da anomalia, usarei o cluster baseado em densidade, um …

15 time-series  clustering  trend 

Eu sou muito novo em análise de dados funcionais (FDA). Estou lendo: Ramsay, James O. e Silverman, Bernard W. (2006), Functional Data Analysis, 2ª ed., Springer, Nova York. No entanto, ainda não estou muito claro onde / quando usar o FDA? Alguém poderia me dar um exemplo, especialmente em estudos …

15 statistical-significance  cross-validation  nonparametric 

Thru este site que eu descobri recentemente Sankey diagramas, uma ótima maneira de visualizar o que está acontecendo em um tradicional fluxograma. Aqui está um bom exemplo de um diagrama de Sankey de George M. Whitesides e George W. Crabtree , Source; Não se esqueça da pesquisa fundamental de longo …

15 r  data-visualization  sankey-diagram 

A "validação de inicialização" / "validação cruzada de reamostragem" é nova para mim, mas foi discutida pela resposta a esta pergunta . Acho que envolve dois tipos de dados: os dados reais e os dados simulados, em que um determinado conjunto de dados simulados é gerado a partir dos dados …

15 cross-validation  bootstrap  validation  resampling 

Eu tenho uma pergunta sobre o uso de uma variável de agrupamento em um modelo não linear. Como a função nls () não permite variáveis ​​de fator, tenho me esforçado para descobrir se é possível testar o efeito de um fator no ajuste do modelo. Incluí um exemplo abaixo, no …

15 r  mixed-model  nls 

Eu tenho a série temporal dos preços de dois títulos, A e B, durante o mesmo período e amostrados com a mesma frequência. Gostaria de testar se há alguma diferença estatisticamente significante ao longo do tempo entre os dois preços (minha hipótese nula seria que a diferença é nula). Especificamente, …

15 time-series  hypothesis-testing  statistical-significance 

1. Existe alguma convenção de nomenclatura referente ao chapéu e ao símbolo til nas estatísticas? Eu encontrei β está descrevendo um estimador para β ( Wikipedia ) Mas eu também descobriu ~ β está descrevendo um estimador para β ( Wolfram ). Existe alguma diferença no significado? Na web, achei …

15 notation