Estatísticas e Big Data

Quase tudo o que li sobre regressão linear e GLM se resume a isso: y=f(x,β)y=f(x,β)y = f(x,\beta) onde f(x,β)f(x,β)f(x,\beta) é uma função não-crescente ou não-decrescente de xxx e é o parâmetro que você estima e testar hipóteses sobre. Existem dezenas de funções de link e transformações de e para fazer …

18 generalized-linear-model  nonlinear-regression  link-function 

A implementação do ER é mais eficiente ( Extreme Gradient Boostingé semelhante ao aumento do gradiente) - a diferença é importante do ponto de vista prático? Há um pacote R que os implementa. É um novo algoritmo que supera a implementação "genérica" ​​(pacote RandomForest da R) não apenas em termos …

18 r  machine-learning  algorithms  random-forest 

Suponha que você tenha uma sacola com ladrilhos, cada uma com uma letra. Existem blocos com a letra 'A', com 'B' e assim por diante, e 'curinga' (temos ). Suponha que você tenha um dicionário com um número finito de palavras.nnnnAnAn_AnBnBn_Bn∗n∗n_*n=nA+nB+…+nZ+n∗n=nA+nB+…+nZ+n∗n = n_A + n_B + \ldots + n_Z + …

18 probability  games  combinatorics 

Preciso calcular a distância de Mahalanobis da amostra em R entre cada par de observações em uma matriz de covariáveis. Preciso de uma solução que seja eficiente, ou seja, apenas as distâncias sejam calculadas e implementadas preferencialmente em C / RCpp / Fortran etc. Suponho que , a matriz de …

18 r  algorithms  distance 

Dado: Uma moeda com viés desconhecido ppp (cabeça). Um real estritamente positivo a>0a>0a > 0 . Problema: Gere uma variável aleatória de Bernoulli com viés .papap^{a} Alguém sabe como fazer isso? Por exemplo, quando é um número inteiro positivo, pode-se jogar a moeda vez e ver se todos os resultados …

18 sampling 

Encontrei uma referência em um artigo que é como: Segundo Tabachnick e Fidell (1996), as variáveis ​​independentes com correlação bivariada maior que 0,70 não devem ser incluídas na análise de regressão múltipla. Problema: usei em um projeto de regressão múltipla 3 variáveis ​​correlacionadas> 0,80, VIF em cerca de 0,2 - …

18 correlation  multiple-regression  multicollinearity  partial-correlation 

A história de muitos campos da ciência pode ser dividida em um pequeno número de intervalos de tempo que geralmente começam com algumas descobertas importantes. Mas nunca vi algo semelhante na linha do tempo das estatísticas. Obviamente, existem algumas datas importantes que podem ser consideradas como pontos de partida de …

18 history 

Aqui 'truncar' implica reduzir a precisão dos números aleatórios e não truncar a série de números aleatórios. Por exemplo, se eu tiver números verdadeiramente aleatórios (extraídos de qualquer distribuição, por exemplo, normal, uniforme etc.) com precisão arbitrária e truncar todos os números para que, finalmente, acabe com um conjunto de …

18 random-generation  measurement-error  truncation 

Eu tenho dados de séries temporais e usei um como modelo para ajustar os dados. O é uma variável aleatória do indicador que é 0 (quando não vejo um evento raro) ou 1 (quando vejo o evento raro). Com base em observações anteriores que tenho sobre o , posso desenvolver …

18 time-series  forecasting  simulation 

Recentemente, fiquei muito envergonhado quando dei uma resposta imediata sobre as estimativas imparciais da variância mínima para parâmetros de uma distribuição uniforme que estava completamente errada. Felizmente, fui imediatamente corrigido pelo cardeal e Henry, com Henry fornecendo as respostas corretas para o OP . Isso me fez pensar. Aprendi a …

18 estimation  point-estimation 

Apenas para esclarecer, quando quero dizer estatísticas resumidas, refiro-me às faixas Média, Mediana do Quartil, Variância e Desvio Padrão. Ao resumir um univariado que é categórico ou qualitativo , considerando os casos Nominal e Ordinal , faz sentido encontrar sua média, mediana, faixas de quartis, variação e desvio padrão? Se …

18 categorical-data  descriptive-statistics 

Uso SAS profissionalmente há quase 5 anos. Eu o instalei no meu laptop e frequentemente tenho que analisar conjuntos de dados com 1.000 a 2.000 variáveis ​​e centenas de milhares de observações. Tenho procurado alternativas ao SAS que me permitam realizar análises em conjuntos de dados de tamanhos semelhantes. Estou …

18 r  sas  large-data 

Recentemente, deparei-me com dimensionamento multidimensional. Estou tentando entender melhor essa ferramenta e seu papel na estatística moderna. Então, aqui estão algumas perguntas norteadoras: Quais perguntas ele responde? Quais pesquisadores geralmente estão interessados ​​em usá-lo? Existem outras técnicas estatísticas que executam funções semelhantes? Que teoria é desenvolvida em torno dela? Como …

18 multidimensional-scaling 

Qual é o valor de dado no resumo de um modelo de coxph em R? Por exemplo,R2R2R^2 Rsquare= 0.186 (max possible= 0.991 ) Eu tolamente incluí um manuscrito como valor e o revisor saltou dizendo que não estava ciente de um análogo da estatística a partir da regressão linear clássica …

18 r  survival  r-squared  cox-model 

Não sei se sou só eu, mas sou muito cético em relação às estatísticas em geral. Eu posso entender isso em jogos de dados, jogos de pôquer, etc. Jogos repetidos muito pequenos, simples e principalmente independentes são bons. Por exemplo, um pouso de moeda em sua borda é pequeno o …

18 probability  expected-value  philosophical