Perguntas com a marcação «machine-learning»

Li em algum lugar que, se tivermos recursos muito correlacionados, precisaremos remover um, pois isso pode piorar o modelo. É claro que recursos correlatos significam que eles trazem as mesmas informações; portanto, é lógico remover um deles. Mas não consigo entender por que isso pode piorar o modelo.

35 machine-learning  correlation 

Suponha que eu crie um NN para classificação. A última camada é uma camada densa com ativação softmax. Eu tenho cinco classes diferentes para classificar. Suponha que, para um único exemplo de treinamento, true labelseja [1 0 0 0 0]enquanto estiverem as previsões [0.1 0.5 0.1 0.1 0.2]. Como eu …

35 machine-learning  deep-learning 

Ainda estou confuso sobre a diferença entre Densee TimeDistributedDensede Keras, embora já existam algumas perguntas semelhantes feitas aqui e aqui . As pessoas estão discutindo muito, mas não há conclusões comuns. E mesmo assim, aqui , @fchollet afirmou que: TimeDistributedDenseaplica uma mesma Denseoperação (totalmente conectada) a cada passo temporal de …

34 machine-learning  neural-network  keras 

Quando digo "documento", tenho em mente páginas da web como artigos da Wikipedia e notícias. Prefiro respostas que ofereçam métricas de distância lexical de baunilha ou métricas de distância semântica de última geração, com maior preferência por essa última.

34 machine-learning  data-mining  nlp  text-mining  similarity 

Eu tenho um problema de grande volume de dados com um grande conjunto de dados (por exemplo, 50 milhões de linhas e 200 colunas). O conjunto de dados consiste em cerca de 100 colunas numéricas e 100 colunas categóricas e uma coluna de resposta que representa um problema de classe …

30 machine-learning  classification  deep-learning 

Parece-me que a função pode ser facilmente expressa pela função e, portanto, a função parece ser supérflua para mim. No entanto, eu sou novo no aprendizado por reforço, então acho que entendi algo errado.VVVQQQVVV Definições O aprendizado de Q e V está no contexto dos processos de decisão de Markov …

30 machine-learning  reinforcement-learning 

Por que usar o softmax em oposição à normalização padrão? Na área de comentários da resposta principal desta pergunta, @Kilian Batzner levantou duas perguntas que também me confundem bastante. Parece que ninguém dá uma explicação, exceto os benefícios numéricos. Eu recebo os motivos para usar a Perda entre entropia, mas …

30 machine-learning  deep-learning 

Nas tarefas de aprendizado de máquina, é comum embaralhar e normalizar dados. O objetivo da normalização é claro (por ter o mesmo intervalo de valores de recursos). Mas, depois de muito esforço, não encontrei nenhuma razão valiosa para embaralhar dados. Eu li este post aqui discutindo quando precisamos embaralhar dados, …

30 machine-learning  neural-network  deep-learning 

Estou tentando treinar um modelo de aumento de gradiente com mais de 50 mil exemplos com 100 recursos numéricos. XGBClassifierlida com 500 árvores em 43 segundos na minha máquina, enquanto GradientBoostingClassifierlida com apenas 10 árvores (!) em 1 minuto e 2 segundos :( Não me preocupei em tentar cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Eu tenho um problema de classificação com aproximadamente 1000 amostras positivas e 10.000 amostras negativas no conjunto de treinamento. Portanto, esse conjunto de dados é bastante desequilibrado. A floresta aleatória simples está apenas tentando marcar todas as amostras de teste como uma classe majoritária. Algumas boas respostas sobre subamostragem e …

29 machine-learning  classification  dataset  unbalanced-classes 

No contexto do Machine Learning , vi o termo Ground Truth usado muito. Pesquisei bastante e encontrei a seguinte definição na Wikipedia : No aprendizado de máquina, o termo "verdade fundamental" refere-se à precisão da classificação do conjunto de treinamento para técnicas de aprendizado supervisionado. Isso é usado em modelos …

29 machine-learning  neural-network  deep-learning 

Quando alguém usaria Random Forestmais SVMe vice-versa? Entendo que a cross-validationcomparação de modelos é um aspecto importante da escolha de um modelo, mas aqui eu gostaria de aprender mais sobre regras práticas e heurísticas dos dois métodos. Alguém pode, por favor, explicar as sutilezas, pontos fortes e fracos dos classificadores, …

28 machine-learning  classification  random-forest  svm 

Note que estou fazendo tudo em R. O problema é o seguinte: Basicamente, eu tenho uma lista de currículos (CVs). Alguns candidatos terão experiência profissional antes e outros não. O objetivo aqui é: com base no texto em seus currículos, quero classificá-los em diferentes setores de trabalho. Sou particular naqueles …

28 machine-learning  classification  nlp  text-mining 

Portanto, não consegui encontrar nenhuma literatura sobre esse assunto, mas parece que vale a pena pensar em algo: Quais são as melhores práticas no treinamento e otimização de modelos se novas observações estiverem disponíveis? Existe alguma maneira de determinar o período / frequência de re-treinamento de um modelo antes que …

28 machine-learning  predictive-modeling  optimization  training 

Percebi que termos como hiperparâmetro do modelo e parâmetro do modelo foram usados ​​alternadamente na Web, sem esclarecimentos prévios. Eu acho que isso está incorreto e precisa de explicação. Considere um modelo de aprendizado de máquina, um classificador ou reconhecedor de imagens baseado em SVM / NN / NB, apenas …

28 machine-learning  parameter  hyperparameter  language-model