Estatísticas e Big Data

Suponha que você tenha os logs de um servidor da web. Nesses logs, você possui tuplas deste tipo: user1, timestamp1 user1, timestamp2 user1, timestamp3 user2, timestamp4 user1, timestamp5 ... Esses registros de data e hora representam, por exemplo, os cliques dos usuários. Agora, user1você visitará o site várias vezes (sessões) …

10 distributions  estimation  mixture 

Tenho alguns dados que preciso visualizar e não tenho certeza da melhor maneira de fazê-lo. Eu tenho um conjunto de itens base com as respectivas frequências e os resultados . Agora eu preciso traçar o quão bem meu método "encontra" (isto é, um resultado 1) os itens de baixa frequência. …

10 data-visualization 

Eu tenho um conjunto de dados em que a intuição empírica diz que devo esperar uma sazonalidade semanal (ou seja, o comportamento no sábado e domingo é diferente do restante da semana). Se essa premissa for verdadeira, um gráfico de autocorrelação não deve me dar rajadas com múltiplos de 7? …

10 time-series  autocorrelation  forecasting 

Eu tenho um conjunto de 20 variáveis ​​que eu coloquei na análise fatorial no SPSS. Para fins de pesquisa, preciso desenvolver 6 fatores. O SPSS mostrou que 8 variáveis ​​(em 20) foram carregadas com pesos baixos ou foram carregadas igualmente por vários fatores; portanto, eu as removi. As 12 variáveis …

10 spss  factor-analysis  references  assumptions 

Se tivermos duas variáveis ​​aleatórias independentes e , qual é a função de massa de probabilidade de ?X1∼Binom(n,p)X1∼Binom(n,p)X_1 \sim \mathrm{Binom}(n,p)X2∼Pois(λ)X2∼Pois(λ)X_2 \sim \mathrm{Pois}(\lambda)X1+X2X1+X2X_1 + X_2 NB Isso não é lição de casa para mim.

10 distributions  self-study  binomial  poisson-distribution 

Lee e Lemieux (p. 31, 2009) sugerem que o pesquisador apresente os gráficos enquanto faz a análise de projeto de descontinuidade por regressão (RDD). Eles sugerem o seguinte procedimento: " ... por alguma largura de banda , e por algum número de caixas e para a esquerda e à direita …

10 r  regression  data-visualization  stata  regression-discontinuity 

Vou tentar descrever o problema em questão o mais geral possível. Estou modelando observações como uma distribuição categórica com um vetor de probabilidade de parâmetro teta. Então, assumo que o vetor de parâmetro theta segue uma distribuição anterior do Dirichlet com os parâmetros .α1 1, α2, … , Αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k É …

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

Um método que me foi sugerido é examinar um gráfico de seixos e verificar "cotovelo" para determinar o número correto de PCs a serem usados. Mas se o gráfico não estiver claro, R tem um cálculo para determinar o número? fit <- princomp(mydata, cor=TRUE)

10 r  pca 

A razão pela qual pergunto isso é porque parece que os resíduos estudados internamente parecem ter o mesmo padrão que os resíduos estimados brutos. Seria ótimo se alguém pudesse oferecer uma explicação.

10 residuals 

O principal problema é: não consigo obter estimativas de parâmetros semelhantes com EViews e R. Por razões que eu não conheço, preciso estimar parâmetros para determinados dados usando EViews. Isso é feito escolhendo a opção NLS (mínimos quadrados não lineares) e usando a seguinte fórmula:indep_var c dep_var ar(1) O EViews …

10 r  autoregressive  software 

Estou modelando o efeito da gravidez no resultado de uma doença (morta-viva). Aproximadamente 40% das pacientes engravidaram após o diagnóstico, mas em momentos diferentes. Até agora, eu fiz gráficos de GC mostrando um claro efeito protetor da gravidez na sobrevida e também um modelo regular de Cox - no entanto, …

10 survival 

Alguém pode me explicar como projetar uma função de decisão SVM? Ou aponte-me para um recurso que discuta um exemplo concreto. EDITAR Para o exemplo abaixo, posso ver que a equação X2=1.5X2=1.5X_2 = 1.5 separa as classes com margem máxima. Mas como ajusto os pesos e escrevo equações para hiperplanos …

10 svm 

O título resume minha pergunta, mas para maior clareza, considere o seguinte exemplo simples. Deixe , i = 1, ..., n . Defina: \ begin {equação} S_n = \ frac {1} {n} \ sum_ {i = 1} ^ n X_i \ end {equação} e \ begin {equation} T_n = \ …

10 normal-distribution  multivariate-analysis  independence  central-limit-theorem  joint-distribution 

Muitas vezes, nos artigos de pesquisa que você lê, os pesquisadores controlam determinadas variáveis. Isso pode ser feito por métodos como correspondência, bloqueio etc. Mas eu sempre pensei que controlar variáveis ​​era algo feito estatisticamente, medindo várias variáveis ​​que poderiam ter influência e realizando algumas análises estatísticas sobre elas, o …

10 experiment-design  random-variable  controlling-for-a-variable 

Estou tentando ajustar um modelo misto multivariado (isto é, resposta múltipla) R. Além dos pacotes ASReml-re SabreR(que requerem software externo), parece que isso só é possível no MCMCglmm. No artigo que acompanha o MCMCglmmpacote (pp.6), Jarrod Hadfield descreve o processo de ajustar um modelo como remodelar várias variáveis ​​de resposta …

10 r  mixed-model  multivariate-analysis  lme4-nlme  multivariate-regression