Ciência de dados

Eu estava lendo o material relacionado ao XGBoost. Parece que esse método não requer escala variável, pois é baseado em árvores e pode capturar interações complexas de padrões de não linearidade. E ele pode lidar com variáveis ​​numéricas e categóricas e também parece que variáveis ​​redundantes não afetam muito esse …

9 xgboost  feature-engineering 

Especialistas da minha área são capazes de prever a probabilidade de um evento (pico binário em amarelo) 30 minutos antes da ocorrência . A frequência aqui é de 1 segundo; essa visão representa algumas horas de dados; circulei em preto onde deveria estar o padrão "malicioso" . Existem interações entre …

9 machine-learning  python  predictive-modeling  time-series  scikit-learn 

Sinto que esta questão está relacionada à teoria por trás da validação cruzada. Apresento aqui minha descoberta empírica e escrevi uma pergunta relacionada à teoria da validação cruzada lá . Eu tenho dois modelos M1 e M2, uso o mesmo conjunto de dados para treiná-los e execute a validação cruzada …

9 cross-validation 

Estou prestes a me formar no meu mestre e aprendi sobre aprendizado de máquina, além de ter realizado projetos de pesquisa com ele. Eu me pergunto sobre as melhores práticas do setor ao executar tarefas de aprendizado de máquina com grandes conjuntos de dados (como 100s GB ou TB). Avalie …

9 machine-learning  predictive-modeling  bigdata 

Eu tenho um DataFrame com IDF de determinadas palavras computadas. Por exemplo (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Agora, faça uma consulta Q, posso calcular o TF-IDF dessa consulta. Como faço para calcular a semelhança de cosseno da consulta com todos os documentos no quadro de dados (há quase um …

9 machine-learning  nlp  apache-spark  cosine-distance 

Existe algum recurso com uma lista de técnicas de engenharia de recursos? Um mapeamento do tipo de dados, modelo e técnica de engenharia de recursos seria uma mina de ouro

9 feature-selection  feature-extraction  feature-engineering  feature-construction  featurization 

Estou tentando entender a aprendizagem por reforço e os processos de decisão de markov (MDP) no caso em que uma rede neural está sendo usada como aproximador de funções. Estou tendo dificuldades com o relacionamento entre o MDP, onde o ambiente é explorado de maneira probabilística, como isso é direcionado …

9 machine-learning  neural-network  q-learning 

Ao implementar a descida gradiente de minilote para redes neurais, é importante levar elementos aleatórios em cada minilote? Ou é suficiente embaralhar os elementos no início do treinamento uma vez? (Também estou interessado em fontes que definitivamente dizem o que fazem.)

9 machine-learning  neural-network 

Eu tenho um conjunto de dados para o qual estou tentando prever variáveis ​​de destino. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 …

9 machine-learning  python  data-mining  dataset  pandas 

Suponha que você tenha uma camada de entrada com n neurônios e a primeira camada oculta possua neurônios, normalmente . Então você calcula a acticação do neurônio na camada oculta pormmmm&lt;nm&lt;nm < najaja_jjjj aj=f(∑i=1..nwi,jxi+bj)aj=f(∑i=1..nwi,jxi+bj)a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right) , em que é uma função de ativação como ou .ffftanhtanh\tanhsigmoidsigmoid\text{sigmoid} Para …

9 machine-learning  visualization  deep-learning  autoencoder 

Qual das opções abaixo é a correta ao criar um modelo preditivo? Opção 1: Primeiro, elimine os preditores obviamente mais ruins e pré-processe os demais, se necessário, treine vários modelos com validação cruzada, escolha os poucos melhores, identifique os principais preditores que cada um usou, depois treine novamente esses modelos …

9 machine-learning  predictive-modeling 

Quando salva em disco usando o cPickle: /programming/20662023/save-python-random-forest-model-to-file , minha floresta aleatória tem 6,57 GB. with open('rforest.cpickle', 'wb') as f: cPickle.dump(rforest, f) Quero usar a própria floresta para fazer previsões por meio de uma API python hospedada no Heroku - é claro, esse tamanho de arquivo é inaceitável. Por que …

9 python  random-forest 

Estou vendo como implementar desistências em redes neurais profundas e achei algo contra-intuitivo. Na fase avançada, oculte as ativações com um tensor aleatório de 1s e 0s para forçar a rede a aprender a média dos pesos. Isso ajuda a rede a generalizar melhor. Mas durante a fase de atualização …

9 neural-network  deep-learning  gradient-descent 

Estou usando a biblioteca marítima para gerar gráficos de barras em python. Gostaria de saber quais estatísticas são usadas para calcular as barras de erro, mas não consigo encontrar nenhuma referência a isso na documentação do gráfico de barras do seaborn . Sei que os valores das barras são calculados …

9 python  visualization 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Data Science Stack Exchange. Fechado há 6 anos . Eu sempre me interessei por aprendizado de máquina, mas não consigo descobrir uma …

9 machine-learning