Estatísticas e Big Data

Estou treinando uma rede neural para classificação de áudio. Eu o treinei no conjunto de dados UrbanSound8K (Modelo1) e depois quis avaliar como diferentes níveis de ruído adicionado às entradas influenciavam a precisão da previsão. Precisão da linha de base Modelo1 = 65% Como esperado, níveis mais altos de ruído …

8 classification  neural-networks  dataset  overfitting 

Eu estou familiarizado com a validação cruzada "regular", mas agora quero fazer previsões de séries temporais enquanto estiver usando a validação cruzada com uma função de regressão linear simples. Escrevo um exemplo simples, para ajudar a esclarecer minhas duas perguntas: uma sobre a divisão trem / teste, uma pergunta sobre …

8 machine-learning  time-series  forecasting  cross-validation  lags 

Estou apresentando alguns gráficos do ACF e PACF aos colegas. Eu posso explicar como interpretar os gráficos e como determinar p e q com base na aparência dos gráficos, mas não consigo encontrar uma explicação intuitiva simples do que realmente significa um gráfico PACF. Eu li a explicação aqui, mas …

8 time-series  forecasting  intuition 

Gostaria de entender melhor por que o LSTM pode se lembrar de informações por um período mais longo do que a rede neural recorrente simples (baunilha / simples), refazendo um experimento do artigo Aprender Dependências de Longo Prazo com Descida Gradiente é Difícil por Bengio et al. 1994 . Veja …

8 neural-networks  lstm  tensorflow  rnn  keras 

Costumo enfrentar a questão de ter que escolher um número de clusters. A partição que acabo escolhendo é mais frequentemente baseada em preocupações visuais e teóricas do que em critérios de qualidade. Eu tenho duas perguntas principais. O primeiro diz respeito à idéia geral de qualidade dos clusters. Pelo que …

8 r  machine-learning  classification  clustering  hierarchical-clustering 

Eu entendo o assunto nos termos underfitting / overfitting , mas ainda luto para entender a matemática exata por trás disso. Eu verifiquei várias fontes ( aqui , aqui , aqui , aqui e aqui ), mas ainda não vejo por que exatamente o viés e a variação se opõem, …

8 unbiased-estimator  mse  bias-variance-tradeoff 

No livro de Richard Sutton sobre RL (2ª edição) , ele apresenta o algoritmo Dyna-Q, que combina planejamento e aprendizado. Na parte planeamento do algoritmo, o Dyna-agente aleatoriamente amostras de n pares de estado-ação visto anteriormente pelo agente, alimenta este par no seu modelo de ambiente e recebe um próximo …

8 reinforcement-learning  q-learning 

Dadas amostras de duas distribuições, estou procurando um teste para diferença de mediana (ou seja, rejeito nulo em favor da evidência de que as medianas são diferentes.) Não quero assumir nada sobre as duas distribuições. Existe algum teste padrão para esta situação? Conheço o teste mediano de Mood, mas acredito …

8 hypothesis-testing  statistical-significance  median 

Eu já vi ótimos posts explicando o PCA e por que, sob essa abordagem, os autovetores de uma matriz de correlação (simétrica) são ortogonais. Também entendo as maneiras de mostrar que esses vetores são ortogonais entre si (por exemplo, pegar os produtos cruzados da matriz desses vetores próprios resultará em …

8 r  correlation  pca  orthogonal 

Estou tentando entender o papel do nas distribuições Poisson e exponencial e como ele é usado para encontrar probabilidades (sim, eu li o outro post sobre esse tópico, não o fez por mim).λλ\lambda O que (eu acho) eu entendo: Distribuição de veneno - discreto λλ\lambda é definido como o número …

8 self-study  poisson-distribution  exponential-distribution 

Todo estimador de Bayes é admissível, pelo que sei. (Questões relacionadas - 1 , 2. ) Lembro-me de meu professor mencionando uma vez durante uma palestra que, pelo menos como uma intuição grosseira, o inverso também é verdadeiro, ou seja, todo estimador admissível é o estimador de Bayes para uma …

8 bayesian  mathematical-statistics  prior  example  admissibility 

Estou trabalhando no desenvolvimento de um laboratório de física sobre decaimento radioativo e, ao analisar dados de amostra que peguei, encontrei um problema estatístico que me surpreendeu. É sabido que o número de decaimentos por unidade de tempo por uma fonte radioativa é distribuído por Poisson. O funcionamento do laboratório …

8 chi-squared  binning  application 

A derivação do intervalo de previsão para o modelo linear é bastante simples: obter uma fórmula para os limites de previsão em um modelo linear . Como derivar os intervalos de confiança e previsão para os valores ajustados das regressões logit e probit (e GLMs em geral)?

8 confidence-interval  generalized-linear-model  logit  prediction-interval  probit 

Seja variáveis ​​aleatórias independentes.Xi∼Gamma(α,pi),i=1,2,...,n+1Xi∼Gamma(α,pi),i=1,2,...,n+1X_i\sim\text{Gamma}(\alpha,p_i),i=1,2,...,n+1 Defina e . Mostre que são distribuídos independentemente.Z1=∑n+1i=1XiZ1=∑i=1n+1XiZ_1=\sum_{i=1}^{n+1}X_iZi=Xi∑ij=1Xj,i=2,3,...,n+1Zi=Xi∑j=1iXj,i=2,3,...,n+1Z_i=\frac{X_i}{\sum_{j=1}^iX_j},\quad i=2,3,...,n+1Z1,Z2,...,Zn+1Z1,Z2,...,Zn+1Z_1,Z_2,...,Z_{n+1} A densidade da junta de é dada por(X1,...,Xn+1)(X1,...,Xn+1)(X_1,...,X_{n+1}) fX(x1 1, . . . ,xn + 1) = [α∑n + 1i = 1pEu∏n + 1i = 1Γ (pEu)exp( - α∑i = 1n + 1xEu)∏i = 1n + 1xpEu- …

8 probability  distributions  mathematical-statistics  random-variable  gamma-distribution 

Eu tenho uma rede neural (camada única feed-forward) com a qual tento prever uma variável relacionada ao ambiente a partir de duas variáveis ​​financeiras (regressão). Eu uso a função "train" do pacote de intercalação. Eu uso o nnet()algoritmo no pacote de sinal de intercalação. Eu tenho dois preditores contínuos e …

8 r  neural-networks  overfitting  caret