Programação deep-learning

4

arquitetura perceptron multicamadas (MLP): critérios para escolher o número de camadas ocultas e o tamanho da camada oculta?

Se tivermos 10 autovetores, então podemos ter 10 nós neurais na camada de entrada. Se tivermos 5 classes de saída, então podemos ter 5 nós na camada de saída. Mas qual é o critério para escolher o número de camadas ocultas em um MLP e quantas nós em 1 camada …

104 machine-learning neural-network deep-learning perceptron

5

por que “empacotamos” as sequências em pytorch?

Eu estava tentando replicar como usar o empacotamento para entradas de sequência de comprimento variável para rnn, mas acho que primeiro preciso entender por que precisamos "empacotar" a sequência. Eu entendo por que precisamos "preenchê-los", mas por que "empacotar" (através pack_padded_sequence) é necessário? Qualquer explicação de alto nível seria apreciada!

99 deep-learning pytorch recurrent-neural-network tensor zero-padding

1

Quais parâmetros devem ser usados para parada antecipada?

Estou treinando uma rede neural para meu projeto usando Keras. Keras forneceu uma função de parada precoce. Posso saber quais parâmetros devem ser observados para evitar que minha rede neural se ajuste excessivamente usando a parada antecipada?

97 python keras deep-learning conv-neural-network

6

Como aplicar o recorte de gradiente no TensorFlow?

Considerando o código de exemplo . Gostaria de saber como aplicar gradiente nessa rede no RNN onde existe a possibilidade de explodir gradientes. tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) Este é um exemplo que poderia ser usado, mas onde posso apresentá-lo? Na defesa do RNN lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0) # Split data …

96 python machine-learning tensorflow deep-learning lstm

6

Usando uma incorporação de palavras pré-treinada (word2vec ou Glove) no TensorFlow

Recentemente, revisei uma implementação interessante para classificação de texto convolucional . No entanto, todo o código do TensorFlow que analisei usa vetores de incorporação aleatórios (não pré-treinados) como o seguinte: with tf.device('/cpu:0'), tf.name_scope("embedding"): W = tf.Variable( tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), name="W") self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) Alguém …

95 python numpy tensorflow deep-learning

10

Como adicionar regularizações no TensorFlow?

Descobri em muitos códigos de rede neural disponíveis implementados usando o TensorFlow que os termos de regularização são frequentemente implementados adicionando manualmente um termo adicional ao valor de perda. Minhas perguntas são: Existe uma maneira mais elegante ou recomendada de regularização do que manualmente? Eu também acho que isso get_variabletem …

94 python neural-network tensorflow deep-learning

6

PyTorch - contíguo ()

Eu estava examinando este exemplo de um modelo de linguagem LSTM no github (link) . O que ele faz em geral é bastante claro para mim. Mas ainda estou lutando para entender o que a chamada contiguous()faz, o que ocorre várias vezes no código. Por exemplo, na linha 74/75 da …

94 neural-network deep-learning lstm pytorch contiguous

5

Qual é a utilidade de verbose em Keras ao validar o modelo?

Estou executando o modelo LSTM pela primeira vez. Aqui está meu modelo: opt = Adam(0.002) inp = Input(...) print(inp) x = Embedding(....)(inp) x = LSTM(...)(x) x = BatchNormalization()(x) pred = Dense(5,activation='softmax')(x) model = Model(inp,pred) model.compile(....) idx = np.random.permutation(X_train.shape[0]) model.fit(X_train[idx], y_train[idx], nb_epoch=1, batch_size=128, verbose=1) Qual é a utilidade de verbose durante …

89 python deep-learning keras verbose

4

O que significa global_step no Tensorflow?

Neste tutorial está o código do site TensorFlow, alguém poderia ajudar a explicar o que global_stepsignifica? Descobri no site do Tensorflow escrito que a etapa global é usada para contar as etapas de treinamento , mas não entendi exatamente o que isso significa. Além disso, o que significa o número …

88 tensorflow deep-learning

2

como formatar os dados da imagem para treinamento / previsão quando as imagens são diferentes em tamanho?

Estou tentando treinar meu modelo que classifica imagens. O problema que tenho é que eles têm tamanhos diferentes. como devo formatar minhas imagens / ou arquitetura do modelo?

87 deep-learning

5

Keras, como faço para prever depois de treinar uma modelo?

Estou brincando com o conjunto de dados reuters-example e ele funciona bem (meu modelo foi treinado). Li sobre como salvar um modelo, para poder carregá-lo mais tarde para usar novamente. Mas como faço para usar este modelo salvo para prever um novo texto? Eu uso models.predict()? Devo preparar este texto …

87 python theano deep-learning keras

5

Causas comuns de nans durante o treinamento

Percebi que uma ocorrência frequente durante o treinamento está NANsendo introduzida. Freqüentemente, parece ser introduzido por pesos em camadas de produto interno / totalmente conectadas ou de convolução explodindo. Isso está ocorrendo porque o cálculo do gradiente está explodindo? Ou é por causa da inicialização do peso (em caso afirmativo, …

86 machine-learning neural-network deep-learning caffe gradient-descent

2

Otimizador TensorFlow Keras personalizado

Suponha que eu queira escrever uma classe de otimizador personalizada que esteja em conformidade com a tf.kerasAPI (usando a versão TensorFlow> = 2.0). Estou confuso sobre a maneira documentada de fazer isso versus o que é feito nas implementações. A documentação para tf.keras.optimizers.Optimizer estados , ### Write a customized optimizer. …

30 python tensorflow deep-learning tf.keras tensorflow2.x

1

Noções básicas sobre derivação de política de gradiente

Estou tentando recriar um exemplo muito simples de Gradiente de política, a partir do blog de Andrej Karpathy, recurso de origem . Nesse artigo, você encontrará exemplos com CartPole e Policy Gradient com lista de peso e ativação do Softmax. Aqui está o meu exemplo recriado e muito simples de …

19 python machine-learning math deep-learning reinforcement-learning

3

Usando o YOLO ou outras técnicas de reconhecimento de imagem para identificar todo o texto alfanumérico presente nas imagens

Eu tenho um diagrama de várias imagens, que contém rótulos como caracteres alfanuméricos, em vez de apenas o rótulo do texto. Quero que meu modelo YOLO identifique todos os números e caracteres alfanuméricos presentes nele. Como posso treinar meu modelo YOLO para fazer o mesmo. O conjunto de dados pode …

12 python opencv machine-learning deep-learning yolo

Perguntas com a marcação «deep-learning»