Estatísticas e Big Data

Estou executando modelos de regressão LOESS em R e quero comparar as saídas de 12 modelos diferentes com tamanhos de amostra variados. Posso descrever os modelos reais em mais detalhes, se ajudar a responder à pergunta. Aqui estão os tamanhos das amostras: Fastballs vs RHH 2008-09: 2002 Fastballs vs LHH …

26 r  regression  loess 

Eu tenho uma matriz de correlação de retornos de segurança cujo determinante é zero. (Isso é um pouco surpreendente, pois a matriz de correlação da amostra e a matriz de covariância correspondente devem teoricamente ser definidas positivamente.) Minha hipótese é que pelo menos um título seja linearmente dependente de outros …

26 r  correlation  pca  linear-model  svd 

Citando a grande resposta de Gung Alegadamente, um pesquisador abordou Fisher com resultados "não significativos", perguntando o que ele deveria fazer e Fisher disse: "vá buscar mais dados". De uma perspectiva de Neyman-Pearson, este é flagrante -hacking, mas há um caso de uso onde ir buscar mais dados-de Fisher abordagem …

26 hypothesis-testing  p-value  intuition  philosophical 

Minha perda de treinamento diminui e depois sobe novamente. Isso é muito estranho. A perda de validação cruzada rastreia a perda de treinamento. O que está acontecendo? Eu tenho dois LSTMS empilhados da seguinte maneira (no Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) …

26 machine-learning  neural-networks  loss-functions  lstm 

Suponha que eu queira fazer uma classificação binária (algo pertence à classe A ou classe B). Existem algumas possibilidades para fazer isso na camada de saída de uma rede neural: Use 1 nó de saída. A saída 0 (<0,5) é considerada classe A e 1 (> = 0,5) é considerada …

26 machine-learning  classification  neural-networks 

Ao realizar inferência bayesiana, operamos maximizando nossa função de probabilidade em combinação com as anteriores que temos sobre os parâmetros. Como a probabilidade do log é mais conveniente, maximizamos efetivamente usando um MCMC ou outro que gere as distribuições posteriores (usando um pdf para cada parâmetro é anterior e a …

26 bayesian  prior 

Eu tenho uma pergunta simples sobre "probabilidade condicional" e "probabilidade". (Eu já fiz essa pergunta aqui, mas sem sucesso.) Começa na página da Wikipedia sobre probabilidade . Eles dizem o seguinte: A probabilidade de um conjunto de valores de parâmetros, , dados os resultados , é igual à probabilidade desses …

26 probability  bayesian  conditional-probability  likelihood  definition 

É possível encontrar o valor p na correlação de pearson em R? Para encontrar a correlação de Pearson, costumo fazer isso col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Mas como posso encontrar o valor p disso?

26 r  correlation  p-value  pearson-r 

Na regressão linear, presume-se que cada valor previsto tenha sido escolhido a partir de uma distribuição normal de valores possíveis. Ver abaixo. Mas por que se supõe que cada valor previsto provém de uma distribuição normal? Como a regressão linear usa essa suposição? E se os valores possíveis não forem …

26 regression  probability  distributions  normal-distribution  modeling 

Digamos que eu tenho três fontes independentes e cada uma delas faz previsões para o clima de amanhã. O primeiro diz que a probabilidade de chuva amanhã é 0, depois o segundo diz que a probabilidade é 1 e, finalmente, o último diz que a probabilidade é de 50%. Eu …

26 probability  bayesian  pooling  model-averaging  forecast-combination 

Pelo que entendi, só podemos criar uma função de regressão que esteja dentro do intervalo dos dados de treinamento. Por exemplo (apenas um dos painéis é necessário): Como eu previa o futuro usando um regressor KNN? Novamente, parece aproximar apenas uma função que fica dentro do intervalo dos dados de …

26 regression  machine-learning  k-nearest-neighbour 

Para a regressão do laço suponha que a melhor solução (erro mínimo de teste, por exemplo) selecione k recursos, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k …

26 regression  feature-selection  lasso  regularization 

Qualquer aluno que trabalha duro é um contra-exemplo para "todos os alunos são preguiçosos". Quais são alguns exemplos simples de "se as variáveis ​​aleatórias e não são correlacionadas, são independentes"?XXXYYY

26 correlation  random-variable  independence 

Estou tentando obter uma melhor compreensão intuitiva do desvio padrão. Pelo que entendi, é representativo da média das diferenças de um conjunto de observações em um conjunto de dados da média desse conjunto de dados. No entanto, NÃO é realmente igual às médias das diferenças, pois dá mais peso às …

26 standard-deviation  intuition 

Vasculhei muitos sites de ajuda e ainda estou confuso sobre como especificar termos aninhados mais complicados em um modelo misto também. Eu também estou confuso como o uso de :e /e |em especificação de interações e de nidificação com fatores aleatórios utilizando lmer()no lme4pacote no R. Para o propósito desta …

26 r  mixed-model  lme4-nlme