Ciência de dados

Quais são algumas das vantagens dos armazenamentos de dados colunares que os tornam mais adequados para ciência e análise de dados?

23 databases  tools 

É necessário padronizar seus dados antes do cluster? No exemplo do scikit learnDBSCAN, aqui eles fazem isso na linha: X = StandardScaler().fit_transform(X) Mas não entendo por que é necessário. Afinal, o clustering não assume nenhuma distribuição específica de dados - é um método de aprendizado não supervisionado, portanto seu objetivo …

23 python  clustering  clusters  anomaly-detection 

Estou tentando agrupar alguns vetores com 90 recursos com K-means. Como esse algoritmo me pergunta o número de clusters, quero validar minha escolha com algumas boas matemáticas. Espero ter de 8 a 10 clusters. Os recursos são escalonados em Z-score. Método do cotovelo e variância explicados from scipy.spatial.distance import cdist, …

23 clustering  k-means 

Existem muitas técnicas para a visualização de conjuntos de dados de alta dimensão, como T-SNE, isomap, PCA, PCA supervisionado, etc. " Alguns desses métodos de incorporação (aprendizado múltiplo) são descritos aqui . Mas essa "imagem bonita" é realmente significativa? Que idéias possíveis alguém pode obter tentando visualizar esse espaço incorporado? …

23 machine-learning  dimensionality-reduction  visualization 

Gostaria de comparar uma coluna de um df com outros df's. As colunas são nomes e sobrenomes. Eu gostaria de verificar se uma pessoa em um quadro de dados está em outro.

23 pandas  dataframe 

É melhor codificar recursos como mês e hora como fator ou numérico em um modelo de aprendizado de máquina? Por um lado, acho que a codificação numérica pode ser razoável, porque o tempo é um processo progressivo (o quinto mês é seguido pelo sexto mês), mas, por outro lado, acho …

23 machine-learning  feature-extraction  feature-engineering  encoding  numerical 

Atualmente, estou usando o XGBoost em um conjunto de dados com 21 recursos (selecionados da lista de cerca de 150 recursos), depois os codifiquei com um hot-code para obter ~ 98 recursos. Alguns desses 98 recursos são um pouco redundantes, por exemplo: uma variável (recurso) também aparece como BUMAAA eCBUMABA\frac{B}{A} …

23 feature-selection  correlation  xgboost  gbm 

Atualmente, estou trabalhando com o Python e o Scikit para fins de classificação e, lendo o GridSearch, achei que essa era uma ótima maneira de otimizar meus parâmetros do estimador para obter os melhores resultados. Minha metodologia é esta: Dividir meus dados em treinamento / teste. Use o GridSearch com …

23 machine-learning  cross-validation 

Aparentemente, no aprendizado por reforço, o método da diferença temporal (TD) é um método de inicialização. Por outro lado, os métodos de Monte Carlo não são métodos de inicialização. O que exatamente é o bootstrapping no RL? O que é um método de inicialização no RL?

23 reinforcement-learning 

Eu sou novo no ML e esta é minha primeira pergunta aqui, desculpe se minha pergunta é boba. Estou tentando ler e entender o artigo Atenção é tudo o que você precisa e, nele, há uma figura: Não sei o que é codificação posicional . ouvindo alguns vídeos do youtube, …

23 nlp  encoding  attention-mechanism  transformer 

Gostaria de configurar um servidor que pudesse dar suporte a uma equipe de ciência de dados da seguinte maneira: ser um ponto central para armazenamento, versão, compartilhamento e possível execução de notebooks Jupyter. Algumas propriedades desejadas: Diferentes usuários podem acessar o servidor e abrir e executar blocos de anotações armazenados …

22 software-recommendation 

Eu estava lendo sobre a solução para esse desafio OTTO Kaggle e a solução em primeiro lugar parece usar várias transformações para os dados de entrada X, por exemplo Log (X + 1), sqrt (X + 3/8) etc. orientação geral sobre quando aplicar quais transformações de tipo a vários classificadores? …

22 machine-learning  feature-extraction  feature-scaling 

Estou tentando entender como posso codificar variáveis ​​categóricas usando estimativa de probabilidade, mas até agora tive pouco sucesso. Todas as sugestões serão muito apreciadas.

22 feature-engineering 

Isso é mais como uma pergunta geral da PNL. Qual é a entrada apropriada para treinar uma incorporação de palavras, ou seja, Word2Vec? Todas as frases pertencentes a um artigo devem ser um documento separado em um corpus? Ou cada artigo deve ser um documento no referido corpus? Este é …

22 nlp  word-embeddings 

Eu sempre ouvi pessoas dizendo que por que as redes neurais convolucionais ainda são pouco compreendidas. Sabe-se por que as redes neurais convolucionais sempre acabam aprendendo recursos cada vez mais sofisticados à medida que avançamos nas camadas? O que os levou a criar uma pilha de recursos e isso também …

22 machine-learning  neural-network  deep-learning  convnet  cnn