Ciência de dados optimization

8

Atualmente, estou trabalhando na implementação da descida estocástica de gradiente SGD, para redes neurais usando propagação traseira, e enquanto eu entendo seu objetivo, tenho algumas perguntas sobre como escolher valores para a taxa de aprendizado. A taxa de aprendizado está relacionada à forma do gradiente de erro, conforme determina a …

85 machine-learning neural-network deep-learning optimization hyperparameter

4

Um modelo deve ser re-treinado se novas observações estiverem disponíveis?

Portanto, não consegui encontrar nenhuma literatura sobre esse assunto, mas parece que vale a pena pensar em algo: Quais são as melhores práticas no treinamento e otimização de modelos se novas observações estiverem disponíveis? Existe alguma maneira de determinar o período / frequência de re-treinamento de um modelo antes que …

28 machine-learning predictive-modeling optimization training

1

Existem regras para escolher o tamanho de um mini lote?

Ao treinar redes neurais, um hiperparâmetro é do tamanho de um minibatch. As opções comuns são 32, 64 e 128 elementos por mini lote. Existem regras / diretrizes para o tamanho de um mini lote? Alguma publicação que investiga o efeito no treinamento?

21 neural-network deep-learning convnet optimization

4

A descida do gradiente sempre converge para o ideal?

Gostaria de saber se existe algum cenário em que a descida do gradiente não converja ao mínimo. Estou ciente de que nem sempre é garantido que a descida do gradiente converja para um ótimo global. Também estou ciente de que ele pode divergir de um ótimo se, digamos, o tamanho …

21 machine-learning neural-network deep-learning optimization gradient-descent

3

Diretrizes para selecionar um otimizador para o treinamento de redes neurais

Eu tenho usado redes neurais por um tempo agora. No entanto, uma coisa com a qual luto constantemente é a seleção de um otimizador para treinar a rede (usando backprop). O que eu costumo fazer é apenas começar com um (por exemplo, SGD padrão) e, em seguida, tentar outros de …

18 neural-network optimization backpropagation

2

mínimos locais vs pontos de sela na aprendizagem profunda

Ouvi Andrew Ng (em um vídeo que infelizmente não consigo mais encontrar) falar sobre como a compreensão dos mínimos locais em problemas de aprendizagem profunda mudou no sentido de que agora eles são considerados menos problemáticos porque em espaços de alta dimensão (encontrados em aprendizado profundo) é mais provável que …

18 machine-learning deep-learning optimization convergence

2

Por que os algoritmos genéticos não são usados para otimizar redes neurais?

Pelo meu entendimento, os algoritmos genéticos são ferramentas poderosas para otimização multiobjetivo. Além disso, o treinamento de redes neurais (especialmente as profundas) é difícil e tem muitos problemas (funções de custo não convexas - mínimos locais, gradientes de fuga e explosão etc.). Também sou conceitualmente que treinar um NN com …

13 neural-network optimization genetic-algorithms

4

O Gradient Descent é central para todos os otimizadores?

Quero saber se a descida de gradiente é o principal algoritmo usado em otimizadores como Adam, Adagrad, RMSProp e vários outros otimizadores.

13 machine-learning neural-network deep-learning optimization gradient-descent

2

Por que nem sempre usar a técnica de otimização do ADAM?

Parece que o otimizador Adaptive Moment Estimation (Adam) quase sempre funciona melhor (atingindo um mínimo global mais rápido e confiável) ao minimizar a função de custo no treinamento de redes neurais. Por que nem sempre usa Adam? Por que se preocupar em usar o RMSProp ou otimizadores de momento?

13 neural-network optimization

1

Quantos recursos para amostra usando florestas aleatórias

A página da Wikipedia que cita "Os elementos do aprendizado estatístico" diz: Normalmente, para um problema de classificação com os recursos , os recursos são usados em cada divisão.ppp⌊ p-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Entendo que esse é um palpite bastante bom e provavelmente foi confirmado por evidências empíricas, mas existem outras razões …

13 statistics random-forest optimization evaluation sampling

1

Pontuação de Fisher v / s descida de coordenadas para MLE em R

A função base R glm()usa a Pontuação de Fishers para o MLE, enquanto a função glmnetparece usar o método de descida de coordenadas para resolver a mesma equação. A descida de coordenadas é mais eficiente em termos de tempo que a pontuação de Fisher, pois a pontuação de Fisher calcula …

11 machine-learning r algorithms optimization

3

Melhores idiomas para computação científica [fechado]

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria das línguas tem algum número de …

10 efficiency statistics tools knowledge-base machine-learning neural-network deep-learning optimization hyperparameter machine-learning time-series categorical-data logistic-regression python visualization bigdata efficiency classification binary svm random-forest logistic-regression data-mining sql experiments bigdata efficiency performance scalability distributed bigdata nlp statistics education knowledge-base definitions machine-learning recommender-system evaluation efficiency algorithms parameter efficiency scalability sql statistics visualization knowledge-base education machine-learning r python r text-mining sentiment-analysis machine-learning machine-learning python neural-network statistics reference-request machine-learning data-mining python classification data-mining bigdata usecase apache-hadoop map-reduce aws education feature-selection machine-learning machine-learning sports data-formats hierarchical-data-format bigdata apache-hadoop bigdata apache-hadoop python visualization knowledge-base classification confusion-matrix accuracy bigdata apache-hadoop bigdata efficiency apache-hadoop distributed machine-translation nlp metadata data-cleaning text-mining python pandas machine-learning python pandas scikit-learn bigdata machine-learning databases clustering data-mining recommender-system

2

Quando escolher a regressão linear ou a Árvore de Decisão ou a Floresta Aleatória? [fechadas]

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 anos . Estou trabalhando em um projeto e estou tendo dificuldades para …

10 machine-learning algorithms random-forest linear-regression decision-trees machine-learning predictive-modeling forecast r clustering similarity data-mining dataset statistics text-mining text-mining data-cleaning data-wrangling machine-learning classification algorithms xgboost data-mining dataset dataset regression graphs svm unbalanced-classes cross-validation optimization hyperparameter genetic-algorithms visualization predictive-modeling correlation machine-learning predictive-modeling apache-spark statistics normalization apache-spark map-reduce r correlation confusion-matrix r data-cleaning classification terminology dataset image-classification machine-learning regression apache-spark machine-learning data-mining nlp parsing machine-learning dimensionality-reduction visualization clustering multiclass-classification evaluation unsupervised-learning machine-learning machine-learning data-mining supervised-learning unsupervised-learning machine-learning data-mining classification statistics predictive-modeling data-mining clustering python pandas machine-learning dataset data-cleaning data bigdata software-recommendation

2

Por que a taxa de aprendizado está fazendo com que os pesos da minha rede neural subam rapidamente?

Estou usando o tensorflow para escrever redes neurais simples para um pouco de pesquisa e tive muitos problemas com pesos 'nan' durante o treinamento. Tentei muitas soluções diferentes, como alterar o otimizador, alterar a perda, o tamanho dos dados, etc., mas sem sucesso. Por fim, notei que uma mudança na …

9 machine-learning python tensorflow optimization gradient-descent

2

O sobreajuste pode ocorrer nos algoritmos de otimização avançada?

ao fazer um curso on-line sobre aprendizado de máquina por Andrew Ng no coursera, deparei-me com um tópico chamado sobreajuste . Eu sei que isso pode ocorrer quando a descida do gradiente é usada na regressão logística ou linear, mas pode ocorrer quando são usados algoritmos de Otimização Avançada, como …

8 machine-learning regression optimization gradient-descent overfitting

Perguntas com a marcação «optimization»