Estatísticas e Big Data

Me deparei com uma pergunta da entrevista: Há um trem vermelho que vem a cada 10 minutos. Há um trem azul vindo a cada 15 minutos. Ambos começam a partir de um horário aleatório, para que você não tenha nenhum cronograma. Se você chegar à estação em um horário aleatório …

19 probability  random-variable  expected-value 

Então, aqui estou estudando inferência. Eu gostaria que alguém pudesse enumerar as vantagens da família exponencial. Por família exponencial, quero dizer as distribuições que são dadas como f( x | θ ) = h ( x ) exp{ η( θ ) T( x ) - B ( θ ) }f(x|θ)=h(x)exp⁡{η(θ)T(x)-B(θ)}\begin{align*} …

19 self-study  exponential-family 

Eu tenho lido o relatório da AIA e essa trama chamou minha atenção. Agora eu quero ser capaz de criar o mesmo tipo de plotagem. Ele mostra a evolução da produtividade energética entre dois anos (1990-2015) e agrega o valor da mudança entre esses dois períodos. Qual é o nome …

19 data-visualization  terminology  excel 

No livro de previsão: Princípios e práticas de Rob J Hyndman e George Athanasopoulos , especificamente a seção sobre medição de precisão : Um método de previsão que minimize o MAE levará a previsões da mediana, enquanto a minimização do RMSE levará a previsões da média Alguém pode dar uma …

19 forecasting  mean  median  rms  mae 

Minha namorada recentemente conseguiu um emprego fazendo vendas e negociando em um grande banco. Impulsionada por seu novo trabalho, ela acredita que pode prever se as ações aumentarão ou diminuirão no final do mês maiores do que o acaso (ela acredita que pode fazê-lo com precisão de 80%!) Eu sou …

19 probability  forecasting  finance 

Estou lendo o livro Statistics (Freeman, Pisani, Purves) e estou tentando reproduzir um exemplo em que uma moeda é lançada, digamos 50 vezes, o número de cabeças contadas e isso é repetido, 1.000 vezes. Primeiro, mantive o número de lançamentos (tamanho da amostra) em 1000 e aumentei as repetições. Quanto …

19 normal-distribution  central-limit-theorem  normal-approximation 

Na página da Wikipedia intitulada correlação não implica causalidade , Para quaisquer dois eventos correlacionados, A e B, os diferentes relacionamentos possíveis incluem: A causa B (causa direta); B causa A (causa reversa); A e B são consequências de uma causa comum, mas não se causam; A e B causam …

19 correlation  causality 

Muitas fontes datam o clássico "enredo de caixa" de John Tukey e seu "enredo esquemático" de 1970. O projeto parece ter permanecido relativamente estático desde então, com a versão reduzida de Edward Tufte do enredo de caixa falhando em capturar, enquanto Os enredos para violino - embora sejam uma variante …

19 data-visualization  references  boxplot  history 

A regularização em regressão (linear, logística ...) é a maneira mais popular de reduzir o excesso de ajuste. Quando o objetivo é a precisão da previsão (não explicando), existem boas alternativas para a regularização, especialmente adequadas para grandes conjuntos de dados (mi / bilhões de observações e milhões de recursos)?

19 regression  regularization  overfitting 

Eu gostaria de testar a hipótese de que duas amostras são retiradas da mesma população, sem fazer nenhuma suposição sobre a distribuição das amostras ou da população. Como devo fazer isso? Da Wikipedia, minha impressão é que o teste U de Mann Whitney deve ser adequado, mas não parece funcionar …

19 r  hypothesis-testing  nonparametric  wilcoxon-mann-whitney  wilcoxon-signed-rank 

Eu tenho me esforçado bastante para entender o conceito de amostragem negativa no contexto do word2vec. Eu sou incapaz de digerir a idéia de amostragem [negativa]. Por exemplo, nos trabalhos de Mikolov, a expectativa de amostragem negativa é formulada como registroσ( ⟨ W , c ⟩ ) + k ⋅ …

19 machine-learning  word2vec  word-embeddings 

Eu ouvi a noção de que Jaynes afirma que os freqüentadores operam com um "prévio implícito". O que são ou são esses antecedentes implícitos? Isso significa que os modelos freqüentadores são todos casos especiais de modelos bayesianos à espera de serem encontrados?

19 bayesian  prior  posterior  frequentist 

Em primeiro lugar, ele dá probabilidade de resultados. Assim, por exemplo, suas previsões para a eleição nos EUA são atualmente 82% Clinton vs 18% Trump. Agora, mesmo que Trump vença, como sei que não foram apenas os 18% das vezes que ele deveria ter vencido? O outro problema é que …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Essa é essencialmente uma replicação de uma pergunta que encontrei no math.se , que não obteve as respostas que eu esperava. Seja uma sequência de variáveis ​​aleatórias independentes e identicamente distribuídas, com e . E [ X i ] = 1 V [ X i ] = 1{Xi}i∈N{Xi}i∈N\{ X_i \}_{i …

19 probability  mathematical-statistics  asymptotics 

Sejam selecionadas as coordenadas cartesianas de um ponto aleatório st .x , yx,yx,y( x , y) ∼ U( - 10 , 10 ) × U( - 10 , 10 )(x,y)∼você(-10,10)×você(-10,10)(x,y) \sim U(-10,10) \times U(-10,10) Assim, o raio, , não é uniformemente distribuída como implícito 's pdf .ρ = x2+ y2------√ρ=x2+y2\rho …

19 normal-distribution  matlab  pdf  uniform