Perguntas com a marcação «scikit-learn»

Sou iniciante em ciência de dados e não entendo a diferença entre fite fit_transformmétodos no scikit-learn. Alguém pode simplesmente explicar por que precisamos transformar dados? O que significa ajustar modelo em dados de treinamento e transformar em dados de teste? Significa, por exemplo, converter variáveis ​​categóricas em números no trem …

110 python  scikit-learn 

Estou construindo modelos com dados categóricos já há algum tempo e, nessa situação, basicamente uso como padrão a função LabelEncoder do scikit-learn para transformar esses dados antes de criar um modelo. Eu entendo a diferença entre OHE, LabelEncodere DictVectorizorem termos do que eles estão fazendo para os dados, mas o …

97 scikit-learn  categorical-data  feature-engineering 

Estou tentando executar o SVR usando o scikit learn (python) em um conjunto de dados de treinamento com 595605 linhas e 5 colunas (recursos) e o conjunto de dados de teste com 397070 linhas. Os dados foram pré-processados ​​e regularizados. Consigo executar os exemplos de teste com êxito, mas ao …

76 python  svm  scikit-learn 

Estou fazendo alguns problemas em uma aplicação de árvore de decisão / floresta aleatória. Estou tentando ajustar um problema que possui números e seqüências de caracteres (como o nome do país) como recursos. Agora, a biblioteca, o scikit-learn usa apenas números como parâmetros, mas quero injetar as strings, assim como …

64 machine-learning  python  scikit-learn  random-forest  decision-trees 

Como dividir aleatoriamente uma matriz de dados e o vetor de rótulo correspondente em um X_train, X_test, X_val, y_train, y_test, y_val com o Sklearn? Tanto quanto eu sei, sklearn.cross_validation.train_test_splitsó é capaz de se dividir em dois, não em três ...

59 machine-learning  scikit-learn 

Estou trabalhando no problema com muitos recursos e o treinamento dos meus modelos leva muito tempo. Eu implementei o algoritmo de seleção direta para escolher os recursos. No entanto, eu queria saber se o scikit-learn tem seleção direta / algoritmo de regressão gradual?

37 feature-selection  scikit-learn 

Estou tentando treinar um modelo de aumento de gradiente com mais de 50 mil exemplos com 100 recursos numéricos. XGBClassifierlida com 500 árvores em 43 segundos na minha máquina, enquanto GradientBoostingClassifierlida com apenas 10 árvores (!) em 1 minuto e 2 segundos :( Não me preocupei em tentar cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Estou seguindo este exemplo no site scikit-learn para executar uma classificação de saída múltipla com um modelo de floresta aleatória. from sklearn.datasets import make_classification from sklearn.multioutput import MultiOutputClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.utils import shuffle import numpy as np X, y1 = make_classification(n_samples=5, n_features=5, n_informative=2, n_classes=2, random_state=1) y2 = …

28 scikit-learn  random-forest  multilabel-classification 

Estou usando uma regressão linear padrão usando o scikit-learn em python. No entanto, gostaria de forçar os pesos a serem positivos para todos os recursos (não negativos). Existe alguma maneira de conseguir isso? Eu estava procurando na documentação, mas não consegui encontrar uma maneira de fazer isso. Entendo que talvez …

27 python  scikit-learn  linear-regression 

Uma maneira de treinar uma regressão logística é usar a descida estocástica do gradiente, para a qual o scikit-learn oferece uma interface. O que eu gostaria de fazer é pegar o SGDClassifier de um scikit -learn e obter a mesma pontuação que uma regressão logística aqui . No entanto, devo …

24 python  logistic-regression  scikit-learn  gradient-descent 

Eu sou bastante novo nisso e não posso dizer que tenho uma compreensão completa dos conceitos teóricos por trás disso. Estou tentando calcular a divergência KL entre várias listas de pontos em Python. Estou usando http://scikit-learn.org/stable/modules/generated/sklearn.metrics.mutual_info_score.html para tentar fazer isso. O problema que eu estou enfrentando é que o valor …

22 python  clustering  scikit-learn 

Bastante novo no Python, mas construindo meu primeiro modelo de RF com base em alguns dados de classificação. Eu converti todos os rótulos em dados numéricos int64 e carreguei em X e Y como uma matriz numpy, mas estou detectando um erro ao tentar treinar os modelos. Aqui está a …

21 python  scikit-learn  sampling 

Eu estava examinando a documentação oficial do scikit-learn learn depois de ler um livro sobre ML e me deparei com o seguinte: Na documentação, isso é dado, sklearn.preprocessing.OrdinalEncoder()enquanto no livro sklearn.preprocessing.LabelEncoder(), quando verifiquei a funcionalidade deles, parecia o mesmo para mim. Alguém pode me dizer a diferença entre os dois, …

21 machine-learning  python  scikit-learn  preprocessing  encoding 

Quando eu estava lendo sobre o uso StandardScaler, a maioria das recomendações dizia que você deveria usar StandardScaler antes de dividir os dados em treinamento / teste, mas quando eu estava verificando alguns dos códigos publicados on-line (usando o sklearn), havia dois usos principais. 1- Usando StandardScalerem todos os dados. …

20 machine-learning  scikit-learn  preprocessing 

Estou construindo uma regressão logística multinomial com o sklearn (LogisticRegression). Mas depois que termina, como posso obter um valor de p e um intervalo confiante do meu modelo? Parece apenas que o sklearn fornece apenas coeficiente e interceptação. Muito obrigado

19 scikit-learn  logistic-regression