Estatísticas e Big Data

Eu tenho dois conjuntos de dados em que tenho valores ~ 250.000 para amostras de 78 e 35. Algumas das amostras são membros de uma família e isso pode afetar os dados. Eu calculei a correlação pareada e ela varia entre 0,7 e 0,95, mas gostaria de saber se há …

11 correlation  cross-correlation  intraclass-correlation 

No artigo da wikipedia sobre o Credible Interval , ele diz: No caso de um único parâmetro e dados que podem ser resumidos em uma única estatística suficiente, pode ser demonstrado que o intervalo credível e o intervalo de confiança coincidirão se o parâmetro desconhecido for um parâmetro de localização …

11 confidence-interval  credible-interval 

Parece-me que, para escolher as ferramentas estatísticas certas, primeiro preciso identificar se meu conjunto de dados é discreto ou contínuo. Você poderia me ensinar como posso testar se os dados são discretos ou contínuos com o R?

11 r  continuous-data  discrete-data 

Alguém sabe qual é a fórmula para a distância de Cook? A fórmula de distância original de Cook usa resíduos estudados, mas por que R está usando std. Os resíduos de Pearson ao calcular o gráfico de distância de Cook para um GLM. Sei que resíduos estudantis não são definidos …

11 r  regression  generalized-linear-model  residuals  cooks-distance 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 6 anos . Em um quadro de dados, gostaria de obter o índice da coluna por nome. Por …

11 r 

Eu tenho um conjunto de sistemas onde incertezas se acumulam dentro dele. Estes nem sempre são puramente aditivos - às vezes são, às vezes não são. Eu tive algum sucesso usando gráficos de fãs, gráficos de barras com intervalos de confiança e gráficos de caixas para comunicar itens únicos. Mas …

11 data-visualization  confidence-interval  uncertainty 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 7 anos . Estou tentando normalizar um conjunto de colunas de dados em uma planilha do Excel. Eu …

11 excel 

Eu adaptei os modelos ARIMA às séries temporais originais, e o melhor modelo é o ARIMA (1,1,0). Agora eu quero simular a série desse modelo. Escrevi o modelo simples AR (1), mas não conseguia entender como ajustar a diferença no modelo ARI (1,1,0). O seguinte código R para a série …

11 r  time-series  arima 

Deixei: Desvio padrão da variável aleatóriaA=σ1=5A=σ1=5A =\sigma_{1}=5 Desvio padrão da variável aleatóriaB=σ2=4B=σ2=4B=\sigma_{2}=4 Então a variação de A + B é: Var(w1A+w2B)=w21σ21+w22σ22+2w1w2p1,2σ1σ2Var(w1A+w2B)=w12σ12+w22σ22+2w1w2p1,2σ1σ2Var(w_{1}A+w_{2}B)= w_{1}^{2}\sigma_{1}^{2}+w_{2}^{2}\sigma_{2}^{2} +2w_{1}w_{2}p_{1,2}\sigma_{1}\sigma_{2} Onde: p1,2p1,2p_{1,2} é a correlação entre as duas variáveis ​​aleatórias. w1w1w_{1} é o peso da variável aleatória A w2w2w_{2} é o peso da variável aleatória B w1+w2=1w1+w2=1w_{1}+w_{2}=1 …

11 random-variable 

Isenção de responsabilidade: postei esta pergunta no Stackoverflow, mas achei que talvez isso seja mais adequado para esta plataforma. Como você testa sua própria implementação de k-means para conjuntos de dados multidimensionais? Eu estava pensando em executar uma implementação já existente (ou seja, Matlab) nos dados e comparar os resultados …

11 clustering  algorithms 

Eu tenho duas populações, uma com N = 38.704 (número de observações) e outra com N = 1.313.662. Esses conjuntos de dados têm ~ 25 variáveis, todas contínuas. Eu calculei a média de cada um em cada conjunto de dados e calculei a estatística do teste usando a fórmula t …

11 t-test 

A expansão Cornish-Fisher fornece uma maneira de estimar os quantis de uma distribuição com base em momentos. (Nesse sentido, eu o vejo como um complemento à expansão de Edgeworth , que fornece uma estimativa da distribuição cumulativa com base em momentos.) Gostaria de saber em quais situações alguém prefere a …

11 distributions  quantiles  finance 

Estou tentando resumir o que entendi até agora na análise multivariada penalizada com conjuntos de dados de alta dimensão, e ainda luto para obter uma definição adequada da penalização de limiar suave versus penalização por Lasso (ou ).L1L1L_1 Mais precisamente, usei a regressão PLS esparsa para analisar a estrutura de …

11 multivariate-analysis  lasso  feature-selection  genetics 

Eu tenho dois métodos analíticos diferentes que podem medir a concentração de uma molécula específica em uma matriz (por exemplo, medir a quantidade de sal na água) Os dois métodos são diferentes e cada um tem seu próprio erro. Quais maneiras existem para mostrar os dois métodos são equivalentes (ou …

11 hypothesis-testing  measurement-error  method-comparison  bland-altman-plot 

Estou lendo muito sobre o uso de splines em vários problemas de regressão. Alguns livros (por exemplo, modelos lineares ricamente parametrizados da Hodges ) recomendam splines penalizadas. Outros (por exemplo, estratégias de modelagem de regressão de Harrell ) optam por splines cúbicos restritos. Quão diferentes são esses, na prática? Você …

11 regression  splines