Perguntas com a marcação «neural-networks»

Estou treinando uma rede neural artificial (retropropagação, feed-forward) com dados distribuídos não normais. Além do erro quadrático médio da raiz, a literatura sugere frequentemente o coeficiente de correlação de Pearson para avaliar a qualidade da rede treinada. Mas, o coeficiente de correlação de Pearson é razoável, se os dados de …

9 correlation  neural-networks  spearman-rho 

Um autoencoder variacional (VAE) fornece uma maneira de aprender a distribuição de probabilidade relacionando uma entrada à sua representação latente . Em particular, o codificador mapeia uma entrada para uma distribuição em . Um codificador típico produzirá parâmetros , representando a distribuição gaussiana ; essa distribuição é usada como nossa …

9 neural-networks  deep-learning  autoencoders  variational-bayes 

O título já diz tudo - quantos parâmetros treináveis ​​existem em uma camada GRU? Esse tipo de pergunta surge muito ao tentar comparar modelos de diferentes tipos de camadas RNN, como unidades de memória de longo prazo (LSTM) versus GRU, em termos de desempenho por parâmetro. Como um número maior …

9 neural-networks  rnn  gru 

Neste https://cs231n.github.io/neural-networks-case-study/, por que ele menciona "o classificador Softmax interpreta todos os elementos de ff como mantendo as probabilidades de log (não normalizadas) das três classes". Entendo por que não é normalizado, mas não por que é log? O que significa uma probabilidade de log? Por que não dizer probabilidades …

9 machine-learning  neural-networks  information-theory  softmax 

Estou usando o modelo pré-treinado de Rede Neural Convolucional do TensorFlow. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 Encontrei a seguinte frase: No entanto, para tarefas de previsão densa, recomendamos que se use entradas com dimensões espaciais que são múltiplos de 32 mais 1, por exemplo, [321, 321]. Alguém sabe o que é previsão densa nesta …

9 neural-networks  conv-neural-network 

Eu tenho tentado criar um programa para treinar redes neurais no meu computador. Para a rede em questão, decidi usar a função Erro de entropia cruzada: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Onde é a saída alvo do neurônio e é a saída desse neurônio, tentando prever .tjtjt_jjjjojojo_jtjtjt_j Eu quero saber o …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Eu rotulei dados compostos por 10000 exemplos positivos e 50000 exemplos negativos, fornecendo um total de 60000 exemplos. Obviamente esses dados estão desequilibrados. Agora, digamos que quero criar meu conjunto de validação e quero usar 10% dos meus dados para fazer isso. Minha pergunta é a seguinte: Devo garantir que …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

O artigo sobre GANs diz que o discriminador usa o seguinte gradiente para treinar: ∇θd1m∑i = 1m[ logD ( x( I )) +log( 1 - D ( G ( z( I )) ) ) ]∇θd1m∑i=1m[log⁡D(x(i))+log⁡(1−D(G(z(i))))]\nabla _{\theta_d} \frac{1}{m}\sum^{m}_{i=1} [\log{D(x^{(i)})} + \log{(1-D(G(z^{(i)})))}] Os valores são amostrados, passados ​​através do gerador para gerar …

9 machine-learning  neural-networks 

Existem tantas técnicas de regularização que não é prático experimentar todas as combinações: l1 / l2 norma máxima cair fora parada antecipada ... Parece que a maioria das pessoas está satisfeita com a combinação de abandono e parada precoce: há casos em que o uso de outras técnicas faz sentido? …

9 neural-networks  regularization  dropout 

Ao aplicar o abandono em redes neurais artificiais, é preciso compensar o fato de que, no tempo de treinamento, uma porção dos neurônios foi desativada. Para fazer isso, existem duas estratégias comuns: escalando a ativação no momento do teste invertendo a desistência durante a fase de treinamento As duas estratégias …

9 neural-networks  deep-learning  dropout 

Estou lendo este artigo: tradutor skype onde eles usam CD-DNN-HMMs (redes neurais profundas dependentes de contexto com modelos de Markov ocultos). Eu posso entender a idéia do projeto e a arquitetura que eles projetaram, mas não entendo o que são os senones . Estive procurando uma definição, mas não encontrei …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

Nos modelos CBOW e skip-gram do word2vec, como a escolha de vetores de palavras de (matriz de palavras de entrada) versus a escolha de vetores de palavras de (matriz de palavras de saída) afeta a qualidade dos vetores de palavras resultantes?W ′WWWW′W′W' CBOW: Skip-gram:

9 neural-networks  natural-language  word2vec  word-embeddings 

Eu gostaria de usar uma Rede Neural para prever séries temporais financeiras. Sou formado em TI e tenho algum conhecimento de redes neurais e tenho lido sobre isso: TDNN RNN Eu tenho procurado por pacotes R para eles e só encontrei um para RNN, o pacote RSNNS que tem implementações …

9 time-series  forecasting  neural-networks  finance 

Estou lidando com um problema relacionado à localização do gradiente da função de perda de entropia cruzada no parâmetro que:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Onde, e é uma entrada de vetor.y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i)θiθi\theta_i Além disso, é um vetor quente da classe correta e é a previsão para cada classe usando a …

9 machine-learning  neural-networks 

Meu professor provou que a segunda derivada da entropia cruzada é sempre positiva, de modo que a função de custo das redes neurais que usam entropia cruzada é convexa. Isso é verdade? Estou bastante confuso sobre isso, porque sempre aprendi que a função de custo da RNA é não convexa. …

9 neural-networks  convex