Estatísticas e Big Data

Normalmente, na análise de componentes principais (PCA), os primeiros PCs são usados ​​e os PCs de baixa variância são descartados, pois não explicam grande parte da variação nos dados. No entanto, existem exemplos em que os PCs de baixa variação são úteis (ou seja, são utilizados no contexto dos dados, …

24 pca 

Li em algum lugar na literatura que o teste de Shapiro-Wilk é considerado o melhor teste de normalidade porque, para um dado nível de significância, αα\alpha , a probabilidade de rejeitar a hipótese nula se falsa é maior do que no caso da outra normalidade testes. Você poderia me explicar, …

24 hypothesis-testing  normal-distribution  normality-assumption 

Esta pergunta foi migrada do Mathematics Stack Exchange porque pode ser respondida em Validação cruzada. Migrou há 6 anos . Venho estudando o modelo de Riscos proporcionais de Cox, e essa pergunta é encoberta na maioria dos textos. Cox propôs ajustar os coeficientes da função Hazard usando um método de …

24 survival  cox-model 

Qual é o método de amostragem mais apropriado para avaliar o desempenho de um classificador em um conjunto de dados específico e compará-lo com outros classificadores? A validação cruzada parece ser uma prática padrão, mas li que métodos como o .632 bootstrap são uma opção melhor. Como acompanhamento: A escolha …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

Eu tenho valores para True Positive (TP)e da False Negative (FN)seguinte maneira: TP = 0.25 FN = 0.75 A partir desses valores, podemos calcular False Positive (FP)e True Negative (TN)?

24 roc  confusion-matrix  sensitivity-specificity 

Existe um método comum usado para determinar quantas amostras de treinamento são necessárias para treinar um classificador (neste caso, uma LDA) para obter uma precisão mínima de generalização de limite? Estou perguntando, porque gostaria de minimizar o tempo de calibração normalmente necessário em uma interface cérebro-computador.

24 classification 

Problema Na regressão, geralmente calcula-se o erro quadrático médio (MSE) de uma amostra: para medir a qualidade de um preditor.MSE=1n∑i=1n(g(xi)−gˆ(xi))2MSE=1n∑i=1n(g(xi)−g^(xi))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 No momento, estou trabalhando em um problema de regressão em que o objetivo é prever o preço que os clientes estão dispostos a pagar …

24 regression  error  loss-functions 

Eu tenho um conjunto de dados de observações de amostra, armazenadas como contagens dentro de intervalos. por exemplo: min/max count 40/44 1 45/49 2 50/54 3 55/59 4 70/74 1 Agora, encontrar uma estimativa da média disso é bastante simples. Basta usar a média (ou mediana) de cada compartimento de …

24 variance  standard-deviation  weighted-sampling 

Eu tenho uma tabela de banco de dados de transferências de dados entre nós diferentes. Este é um enorme banco de dados (com quase 40 milhões de transferências). Um dos atributos é o número de transferências de bytes (nbytes) que variam de 0 bytes a 2 tera bytes. Gostaria de …

24 clustering  k-means 

Tenho 17 anos (1995 a 2011) de dados de atestados de óbito relacionados a mortes por suicídio em um estado nos EUA. Existe muita mitologia por aí sobre suicídios e os meses / estações do ano, muitas das quais contraditórias e a literatura. Ao analisar, não entendo claramente os métodos …

24 r  chi-squared  arima  count-data  seasonality 

Se a melhor aproximação linear (usando mínimos quadrados) dos meus pontos de dados é a linha y=mx+by=mx+by=mx+b , como posso calcular o erro de aproximação? Se o cálculo do desvio padrão da diferença entre as observações e previsões ei=real(xi)−(mxi+b)ei=real(xi)−(mxi+b)e_i=real(x_i)-(mx_i+b) , que pode depois dizer que uma verdadeira (mas não observado) …

24 regression  normal-distribution  least-squares  prediction-interval 

Na verdade, eu queria perguntar como posso definir a condição final para a descida do gradiente. Posso pará-lo com base no número de iterações, ou seja, considerando valores de parâmetros para, por exemplo, 100 iterações? Ou devo esperar que o diferente nos dois valores dos parâmetros 'novo' e 'antigo' seja …

24 algorithms  optimization  gradient-descent 

Eu tenho duas variáveis: Nome do Medicamento (DN) e Eventos Adversos (EA) correspondentes, que mantêm uma relação de muitos para muitos. Existem 33.556 nomes de medicamentos e 9.516 eventos adversos. O tamanho da amostra é de cerca de 5,8 milhões de observações. Quero estudar e entender a associação / relação …

24 r  categorical-data  data-visualization  large-data  association-measure 

Na análise de regressão linear, analisamos valores extremos, investigamos a multicolinearidade, testamos a heterocedasticidade. A questão é: existe alguma ordem para aplicá-las? Quero dizer, temos que analisar discrepantes muito primeiro e depois examinar a multicolinearidade? Ou reverter? Existe alguma regra prática sobre isso?

24 regression  multiple-regression  outliers 

Qual é a diferença de estatística matemática e estatística? Eu li isso : Estatística é o estudo da coleta, organização, análise e interpretação dos dados. Ele lida com todos os aspectos disso, incluindo o planejamento da coleta de dados em termos de projeto de pesquisas e experimentos. E isso : …

24 mathematical-statistics  terminology