Perguntas com a marcação «deep-learning»

De acordo com "Efficient Backprop" de LeCun et al (1998) , é uma boa prática normalizar todas as entradas para que elas fiquem centralizadas em torno de 0 e fiquem dentro da faixa da segunda derivada máxima. Então, por exemplo, usaríamos [-0,5,0,5] para a função "Tanh". Isso é para ajudar …

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

Assuma a seguinte sequência dimensional 1: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... As cartas A, B, C, ..aqui representam eventos "comuns". Os símbolos #, $, %, ...aqui representam eventos 'especiais' O espaçamento temporal entre todos os eventos não é uniforme …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining 

Depois de ler muitos artigos de aprendizagem profunda, uma espécie de sentimento grosseiro é que existem muitos truques no treinamento da rede para obter o desempenho melhor que o normal. Do ponto de vista das aplicações do setor, é muito difícil desenvolver esse tipo de truque, exceto aqueles grupos de …

9 machine-learning  deep-learning  deep-belief-networks 

Estou tentando entender melhor os campos receptivos da CNN. Para fazer isso, gostaria de calcular o campo receptivo de cada neurônio no LeNet. Para um MLP normal, é bastante fácil (consulte http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), mas é mais difícil calcular o campo receptivo de um neurônio em uma camada após uma ou …

9 deep-learning  conv-neural-network 

Tenho entradas extremamente esparsas, por exemplo, locais de determinados recursos em uma imagem de entrada. Além disso, cada recurso pode ter várias detecções (não tenho certeza se isso influenciará o design do sistema). Vou apresentar como uma imagem binária do canal k com pixels ON representando a presença desse recurso …

9 neural-networks  deep-learning  sparse 

Um autoencoder variacional (VAE) fornece uma maneira de aprender a distribuição de probabilidade relacionando uma entrada à sua representação latente . Em particular, o codificador mapeia uma entrada para uma distribuição em . Um codificador típico produzirá parâmetros , representando a distribuição gaussiana ; essa distribuição é usada como nossa …

9 neural-networks  deep-learning  autoencoders  variational-bayes 

Oi, eu estou estudando técnicas de regressão. Meus dados têm 15 recursos e 60 milhões de exemplos (tarefa de regressão). Quando tentei muitas técnicas conhecidas de regressão (árvore com aumento de gradiente, regressão em árvore de decisão, AdaBoostRegressor etc.), a regressão linear teve um ótimo desempenho. Pontuação quase melhor entre …

9 regression  modeling  deep-learning  model  cart 

Ao ler os documentos de segmentação semântica, bem como suas implementações correspondentes, descobri que algumas abordagens usam softmax enquanto outras usam sigmoide para a rotulação em nível de pixel. Por exemplo, com relação ao papel u-net , a saída é um mapa de recursos com dois canais. Eu já vi …

9 machine-learning  deep-learning  computer-vision  tensorflow 

Ao aplicar o abandono em redes neurais artificiais, é preciso compensar o fato de que, no tempo de treinamento, uma porção dos neurônios foi desativada. Para fazer isso, existem duas estratégias comuns: escalando a ativação no momento do teste invertendo a desistência durante a fase de treinamento As duas estratégias …

9 neural-networks  deep-learning  dropout 

Estou lendo este artigo: tradutor skype onde eles usam CD-DNN-HMMs (redes neurais profundas dependentes de contexto com modelos de Markov ocultos). Eu posso entender a idéia do projeto e a arquitetura que eles projetaram, mas não entendo o que são os senones . Estive procurando uma definição, mas não encontrei …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

É prática comum aplicar o aumento de dados apenas ao conjunto de treinamento ou aos conjuntos de treinamento e teste?

9 machine-learning  deep-learning  regularization  data-augmentation 

Eu estava lendo o livro Deep Learning e me deparei com o seguinte parágrafo (página 109, segundo parágrafo): Os dados de treinamento e teste são gerados por uma distribuição de probabilidade em conjuntos de dados denominados processo de geração de dados. Normalmente fazemos um conjunto de suposições conhecidas coletivamente como …

9 deep-learning 

Não sei ao certo o que entendi da documentação oficial, que diz: Retorna: um par (saídas, estado) em que: outputs: O tensor de saída RNN. Se time_major == False(default), este será um Tensor em forma: [batch_size, max_time, cell.output_size]. Se time_major == True, este será um Tensor em forma: [max_time, batch_size, …

8 deep-learning  lstm  tensorflow  rnn  gru 

Atualmente, o aprendizado profundo é um tema cada vez mais popular. Quais são as principais premissas que tornam falta o aprendizado profundo em alguns conjuntos de dados. Ex: tem bom desempenho em conjuntos de dados ruidosos?

8 machine-learning  mathematical-statistics  deep-learning 

Se as redes neurais profundas são consideradas aproximadores de funções universais, a expansão de bases é realmente necessária? Ou isso seria específico do caso? Por exemplo, se alguém tiver três variáveis ​​X quantitativas, haveria alguma vantagem em expandir o número de variáveis ​​introduzindo interações, polinômios etc.? Isso parece ter uma …

8 neural-networks  deep-learning  feature-construction