Ciência de dados gradient-descent

4

Scikit-learn: Fazendo o SGDClassifier prever e também uma regressão logística

Uma maneira de treinar uma regressão logística é usar a descida estocástica do gradiente, para a qual o scikit-learn oferece uma interface. O que eu gostaria de fazer é pegar o SGDClassifier de um scikit -learn e obter a mesma pontuação que uma regressão logística aqui . No entanto, devo …

24 python logistic-regression scikit-learn gradient-descent

3

Qual é a diferença entre a descida de gradiente e a descida de gradiente estocástica?

Qual é a diferença entre a descida de gradiente e a descida de gradiente estocástica? Eu não estou muito familiarizado com isso, você pode descrever a diferença com um pequeno exemplo?

24 machine-learning neural-network deep-learning gradient-descent

4

A descida do gradiente sempre converge para o ideal?

Gostaria de saber se existe algum cenário em que a descida do gradiente não converja ao mínimo. Estou ciente de que nem sempre é garantido que a descida do gradiente converja para um ótimo global. Também estou ciente de que ele pode divergir de um ótimo se, digamos, o tamanho …

21 machine-learning neural-network deep-learning optimization gradient-descent

1

Por que ReLU é melhor que as outras funções de ativação

Aqui, a resposta se refere a gradientes de fuga e explosão que têm sigmoidfunções de ativação semelhantes, mas, eu acho, Relutem uma desvantagem e é seu valor esperado. não há limitação para a saída do Relue, portanto, seu valor esperado não é zero. Lembro-me da época anterior à popularidade Reludisso …

17 machine-learning neural-network deep-learning gradient-descent activation-function

4

O Gradient Descent é central para todos os otimizadores?

Quero saber se a descida de gradiente é o principal algoritmo usado em otimizadores como Adam, Adagrad, RMSProp e vários outros otimizadores.

13 machine-learning neural-network deep-learning optimization gradient-descent

1

Quantas células LSTM devo usar?

Existem regras práticas (ou regras reais) referentes à quantidade mínima, máxima e "razoável" de células LSTM que devo usar? Especificamente, estou relacionado ao BasicLSTMCell da TensorFlow e à num_unitspropriedade. Suponha que eu tenha um problema de classificação definido por: t - number of time steps n - length of input …

12 rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

4

Por que acelera a descida do gradiente se a função é suave?

Agora, li um livro intitulado "Aprendizado de máquina prático com o Scikit-Learn e TensorFlow" e, no capítulo 11, ele tem a seguinte descrição sobre a explicação de ELU (Exponential ReLU). Terceiro, a função é suave em todos os lugares, incluindo z = 0, o que ajuda a acelerar a descida …

10 deep-learning gradient-descent

1

Quão flexível é o vínculo entre a função objetivo e a função de ativação da camada de saída?

Parece padrão em muitos pacotes de redes neurais emparelhar a função objetivo a ser minimizada com a função de ativação na camada de saída. Por exemplo, para uma camada de saída linear usada para regressão, é padrão (e geralmente apenas uma opção) ter uma função objetiva de erro ao quadrado. …

10 neural-network gradient-descent

2

Descida de gradiente estocástico com base em operações vetoriais?

Vamos supor que eu queira treinar um algoritmo de regressão descendente de gradiente estocástico usando um conjunto de dados que possui N amostras. Como o tamanho do conjunto de dados é fixo, reutilizarei os dados T vezes. Em cada iteração ou "época", eu uso cada amostra de treinamento exatamente uma …

10 python gradient-descent regression

2

Por que a taxa de aprendizado está fazendo com que os pesos da minha rede neural subam rapidamente?

Estou usando o tensorflow para escrever redes neurais simples para um pouco de pesquisa e tive muitos problemas com pesos 'nan' durante o treinamento. Tentei muitas soluções diferentes, como alterar o otimizador, alterar a perda, o tamanho dos dados, etc., mas sem sucesso. Por fim, notei que uma mudança na …

9 machine-learning python tensorflow optimization gradient-descent

1

Noções básicas sobre descida e descida de gradiente

Estou vendo como implementar desistências em redes neurais profundas e achei algo contra-intuitivo. Na fase avançada, oculte as ativações com um tensor aleatório de 1s e 0s para forçar a rede a aprender a média dos pesos. Isso ajuda a rede a generalizar melhor. Mas durante a fase de atualização …

9 neural-network deep-learning gradient-descent

2

Compreendendo a matemática do AdaGrad e AdaDelta

Eu tenho construído alguns modelos para um projeto, mas não consigo entender a matemática dos algoritmos Adagrad e Adadelta. Entendo como funciona a descida do gradiente de baunilha e escrevi um código para fazê-lo funcionar com êxito. Ficarei grato se alguém me explicar essas duas coisas ou fornecer algum recurso …

8 machine-learning gradient-descent

2

O sobreajuste pode ocorrer nos algoritmos de otimização avançada?

ao fazer um curso on-line sobre aprendizado de máquina por Andrew Ng no coursera, deparei-me com um tópico chamado sobreajuste . Eu sei que isso pode ocorrer quando a descida do gradiente é usada na regressão logística ou linear, mas pode ocorrer quando são usados algoritmos de Otimização Avançada, como …

8 machine-learning regression optimization gradient-descent overfitting

1

Implementação da descida estocástica de gradiente em Python

Eu estou tentando implementar um algoritmo básico de descida de gradiente estocástico para uma regressão linear 2D em python. Recebi um código padrão para o GD baunilha e tentei convertê-lo para trabalhar para o SGD. Especificamente - estou um pouco inseguro quanto à implementação correta da função de perda e …

7 linear-regression gradient-descent

1

Por que a ReLU com vazamento nem sempre é preferível à ReLU, dado o gradiente zero para x <0?

Parece-me que o ReLU com vazamento deve ter um desempenho muito melhor, pois o ReLU padrão não pode usar metade de seu espaço (x <0, onde o gradiente é zero). Mas isso não acontece e, na prática, a maioria das pessoas usa ReLU padrão.

7 neural-network gradient-descent

Perguntas com a marcação «gradient-descent»