Perguntas com a marcação «neural-networks»

Em 2015, Tishby e Zaslavsky publicaram um artigo bem conhecido, alegando que o chamado Princípio do Gargalo da Informação poderia ser usado para entender algum comportamento de redes neurais profundas. Em um artigo mais recente (abril de 2017) , Schwartz-Ziv e Tishby expandem essas reivindicações, visualizando em particular alguns dos …

7 neural-networks  references  deep-learning  information-theory 

Existe uma regra prática antiga para estatísticas multivariadas que recomenda um mínimo de 10 casos para cada variável independente. Mas geralmente é onde há um parâmetro para cada variável. Por que estou perguntando: estou trabalhando em um exemplo de livro didático que usa 500 casos de treinamento (de 25.000 no …

7 self-study  neural-networks 

O ensino a distância baseado em trigêmeos para reconhecimento facial parece muito eficaz. Estou curioso sobre um aspecto particular do artigo. Como parte de encontrar uma incorporação para um rosto, os autores normalizam as unidades ocultas usando a normalização L2, que restringe a representação a uma hiperesfera. Por que isso …

7 neural-networks  deep-learning  normalization  image-processing 

Eu estava pensando e tentando entender se existe alguma razão matemática por trás da superioridade das RNNs sobre as redes Feed-forward ao lidar com dados sequenciais. Por exemplo, ao modelar séries temporais, HMMs, etc. Suponha que o comprimento da sequência seja fixo, mas muito grande. Intuitivamente, está claro que os …

7 machine-learning  time-series  neural-networks  rnn 

A rede neural conhecida como " U-Net " (Ronneberger, Fischer e Brox 2015) foi uma técnica proeminente no recente concurso de Segmentação de Nervos por Ultrassom da Kaggle , onde pontuações altas foram atribuídas a algoritmos que criaram máscaras de pixel com alto grau de sobreposição. as regiões desenhadas à …

7 neural-networks  deep-learning  biostatistics  conv-neural-network  image-processing 

Eu tenho uma matriz de dados de imagem que é o número de exemplos de imagens é o número de pixels da imagem: , porque cada imagem é uma imagem 3 canais . Além disso, cada uma das 50000 imagens pertence a 1 de 10 classes possíveis. Ou seja, existem …

7 machine-learning  classification  neural-networks  pca  image-processing 

Eu tenho uma compreensão decente de redes neurais, propagação traseira e regra de cadeia, no entanto, estou lutando para entender a diferenciação automática. A seguir, consulte a diferenciação automática fora do contexto da propagação de retorno: Como a diferenciação automática calcula o gradiente a partir de uma matriz? Quais são …

7 machine-learning  neural-networks  deep-learning  tensorflow  automatic-differentiation 

Atualmente, estou trabalhando no treinamento de uma rede neural de 5 camadas e tive alguns problemas com a camada tanh e gostaria de experimentar a camada ReLU. Mas descobri que isso se torna ainda pior para a camada ReLU. Gostaria de saber se é por isso que não encontrei os …

7 neural-networks 

Eu estava lendo o documento de normalização em lote (BN) (1) e dizia: Para isso, uma vez treinada a rede, usamos a normalização x^=x−E[x]Var[x]+ϵ−−−−−−−−√x^=x−E[x]Var[x]+ϵ\hat{x} = \frac{x - E[x]}{ \sqrt{Var[x] + \epsilon}}usando a população , em vez de estatísticas de minilote. minha pergunta é: como ele calcula as estatísticas dessa população …

7 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Alguém sabe se existe uma generalização da rede convolucional que funciona com tensores de entrada 4D em vez de 3D. Geralmente, pelo que entendi, os filtros de rede convolucionais aceitam uma certa extensão de coordenadas x, y por filtro e toda a profundidade dessa extensão também. Eu tenho uma dimensão …

7 neural-networks  conv-neural-network 

Dado o estado moderno das tecnologias e ferramentas de aprendizado de máquina (por exemplo, TensorFlow, Theano etc.), parece que o limiar de entrada diminuiu recentemente e é suficiente ser capaz de programar, por exemplo, Python, para criar coisas interessantes. Outra fonte que suporta esse ponto é a Especialização em aprendizado …

7 machine-learning  neural-networks  deep-learning 

Estou tentando implementar o documento Image Style Transfer usando redes neurais convolucionais . Na seção 2 - Representações de imagens profundas, os autores mencionam a seguinte técnica de normalização de peso: Normalizamos a rede dimensionando os pesos de forma que a ativação média de cada filtro convolucional sobre imagens e …

6 neural-networks  deep-learning  conv-neural-network  normalization 

Ao ler sobre a transformação da camada totalmente conectada em camada convolucional, publicada em http://cs231n.github.io/convolutional-networks/#convert . Apenas me sinto confuso com os dois comentários a seguir: Acontece que essa conversão nos permite "deslizar" o ConvNet original de maneira muito eficiente em várias posições espaciais em uma imagem maior, em uma …

6 machine-learning  neural-networks  deep-learning  conv-neural-network