Estatísticas e Big Data

Eu sempre tenho dificuldade em explicar técnicas estatísticas para o público sem formação estatística. Se eu quisesse explicar o que o GLM é para esse público (sem jogar fora o jargão estatístico), qual seria a maneira melhor ou mais eficaz? Eu normalmente explico o GLM com três partes - (1) …

16 generalized-linear-model  communication 

Eu tenho um aplicativo baseado em servlet em que medo o tempo necessário para concluir cada solicitação desse servlet. Eu já calculo estatísticas simples como média e máximo; No entanto, gostaria de produzir uma análise mais sofisticada e, para isso, acredito que preciso modelar adequadamente esses tempos de resposta. Certamente, …

16 distributions  web 

Aqui está o meu experimento: Estou usando a findPeaksfunção no pacote quantmod : Quero detectar picos "locais" dentro de uma tolerância 5, ou seja, os primeiros locais após a série cronológica caírem dos picos locais em 5: aa=100:1 bb=sin(aa/3) cc=aa*bb plot(cc, type="l") p=findPeaks(cc, 5) points(p, cc[p]) p A saída é …

16 r  time-series 

Sei que isso é subjetivo, mas achei que seria bom falar sobre nossos conjuntos de dados favoritos e o que achamos que os torna interessantes. Existe uma grande quantidade de dados por aí, e com todas as APIs (por exemplo, Datamob ) junto com conjuntos de dados clássicos (por exemplo, …

16 dataset 

Eu tenho dados de contagem (análise de demanda / oferta com número de clientes, dependendo - possivelmente - de muitos fatores). Tentei uma regressão linear com erros normais, mas meu gráfico QQ não é realmente bom. Tentei uma transformação de log da resposta: mais uma vez, QQ-plot ruim. Então agora …

16 count-data  poisson-regression  overdispersion  quasi-likelihood 

Fui encarregado de mudar um dos nossos grandes modelos estocásticos atuais do SAS para um novo idioma. Pessoalmente, prefiro uma linguagem compilada tradicional, mas o PI quer que eu verifique o R, que nunca usei. Nossa motivação para tirar o modelo do SAS é (1) muitas pessoas não têm acesso …

16 r  computing 

Considere regressão linear com alguma regularização: por exemplo, encontre que minimize | | A x - b | | 2 + λ | | x |xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Normalmente, as colunas de A são padronizadas para ter média zero e norma de unidade, enquanto é centralizado para ter média zero. …

16 regression  lasso  regularization  standardization 

Eu sou completamente novo nisso, então espero que você me perdoe se a pergunta for ingênua. (Contexto: estou aprendendo econometria com o livro "Econometria e Métodos" de Davidson & MacKinnon , e eles parecem não explicar isso; também observei o livro de otimização de Luenberger que lida com projeções em …

16 regression  least-squares 

Eu tenho um modelo linear clássico, com 5 possíveis regressores. Eles não estão correlacionados entre si e têm uma correlação bastante baixa com a resposta. Cheguei a um modelo em que três dos regressores têm coeficientes significativos para sua estatística t (p <0,05). A adição de uma ou das duas …

16 r  regression  self-study  linear-model 

Essa é uma pergunta de um iniciante, mas como interpretar um resultado exp (B) de 6.012 em um modelo de regressão logística multinomial? 1) é 6.012-1.0 = 5.012 = aumento de 5012% no risco? ou 2) 6,012 / (1 + 6,012) = 0,857 = aumento de 85,7% no risco? Caso …

16 multinomial 

Eu tenho um conjunto de dados em que cada dado consiste em nnn medidas diferentes. Para cada medida, tenho um valor de referência. Gostaria de saber o quão perto cada dado está do valor de referência. Pensei em usar a distância euclidiana ponderada da seguinte maneira: dx,b=(∑ni=1wi(xi−bi)2))1/2dx,b=(∑i=1nwi(xi−bi)2))1/2\hspace{0.5in} d_{x,b}=\left( \sum_{i=1}^{n}w_i(x_i-b_i)^2)\right)^{1/2} Onde …

16 distance-functions 

Me pedem para escrever uma introdução à estatística e estou lutando para mostrar graficamente a maneira como o valor-p e o poder se relacionam. Eu vim com este gráfico: Minha pergunta: existe uma maneira melhor de exibir isso? Aqui está o meu código R x <- seq(-4, 4, length=1000) hx …

16 r  teaching  power 

Estou tentando implementar uma análise de "ponto de mudança" ou uma regressão multifásica usando nls()em R. Aqui estão alguns dados falsos que eu criei . A fórmula que eu quero usar para ajustar os dados é: y= β0 0+ β1x + β2max ( 0 , x - δ)y=β0 0+β1x+β2max(0 0,x-δ)y …

16 r  regression  change-point  nls 

Sou farmacologista e, na minha experiência, quase todos os trabalhos de pesquisa biomédica básica usam o teste t de Student (para apoiar inferência ou para atender às expectativas ...). Há alguns anos, percebi que o teste t de Student não é o teste mais eficiente que pode ser usado: os …

16 hypothesis-testing  teaching  statistical-significance 

A distribuição Kolmogorov – Smirnov é conhecida a partir do teste Kolmogorov – Smirnov . No entanto, é também a distribuição do supremo da ponte browniana. Como isso está longe de ser óbvio (para mim), eu gostaria de pedir uma explicação intuitiva dessa coincidência. Referências também são bem-vindas.

16 distributions  hypothesis-testing  mathematical-statistics  stochastic-processes