Perguntas com a marcação «sampling»

Eu li sobre o NCE (uma forma de amostragem de candidatos) dessas duas fontes: Gravação de Tensorflow Papel original Alguém pode me ajudar com o seguinte: Uma explicação simples de como o NCE funciona (achei difícil analisar e entender o que foi dito acima, então seria ótimo algo intuitivo que …

32 deep-learning  tensorflow  word-embeddings  sampling  loss-function 

Bastante novo no Python, mas construindo meu primeiro modelo de RF com base em alguns dados de classificação. Eu converti todos os rótulos em dados numéricos int64 e carreguei em X e Y como uma matriz numpy, mas estou detectando um erro ao tentar treinar os modelos. Aqui está a …

21 python  scikit-learn  sampling 

Eu uso o Python para executar um modelo de floresta aleatório no meu conjunto de dados desequilibrado (a variável de destino era uma classe binária). Ao dividir o conjunto de dados de treinamento e teste, lutei para usar a amostragem estratificada (como o código mostrado) ou não. Até agora, observei …

14 machine-learning  python  random-forest  sampling  training 

A página da Wikipedia que cita "Os elementos do aprendizado estatístico" diz: Normalmente, para um problema de classificação com os recursos , os recursos são usados ​​em cada divisão.ppp⌊ p-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Entendo que esse é um palpite bastante bom e provavelmente foi confirmado por evidências empíricas, mas existem outras razões …

13 statistics  random-forest  optimization  evaluation  sampling 

Sou iniciante em aprendizado de máquina e estou enfrentando uma situação. Estou trabalhando em um problema de lances em tempo real, com o conjunto de dados IPinYou e estou tentando fazer uma previsão de cliques. O fato é que, como você deve saber, o conjunto de dados é muito desequilibrado: …

13 machine-learning  dataset  sampling 

Preciso saber por que precisamos lidar com o desequilíbrio de dados. Eu sei como lidar com isso e métodos diferentes para resolver o problema, que é a amostragem por subida ou descida ou usando o Smote. Por exemplo, se eu tiver uma doença rara 1% em 100, e digamos que …

12 classification  dataset  sampling  class-imbalance 

Existem regras práticas (ou regras reais) referentes à quantidade mínima, máxima e "razoável" de células LSTM que devo usar? Especificamente, estou relacionado ao BasicLSTMCell da TensorFlow e à num_unitspropriedade. Suponha que eu tenha um problema de classificação definido por: t - number of time steps n - length of input …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

Estou prototipando um aplicativo e preciso de um modelo de linguagem para calcular a perplexidade em algumas frases geradas. Existe algum modelo de linguagem treinado em python que eu possa usar facilmente? Algo simples como model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Estou enfrentando uma situação em que os números de exemplos positivos e negativos em um conjunto de dados são desequilibrados. Minha pergunta é: existem regras práticas que nos dizem quando devemos subamostrar a categoria grande para forçar algum tipo de equilíbrio no conjunto de dados. Exemplos: Se o número de …

10 classification  dataset  sampling  class-imbalance 

Gostaria de saber que tipo de validação cruzada de modelo escolher para o problema de classificação: dobra K ou subamostragem aleatória (amostragem de inicialização)? Meu melhor palpite é usar 2/3 do conjunto de dados (que é ~ 1000 itens) para treinamento e 1/3 para validação. Nesse caso, a dobra em …

10 cross-validation  sampling 

Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:]. Quão?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas