Ciência de dados

Eu já passei por este post que usa nltk's cmudictpara contar o número de sílabas em uma palavra: from nltk.corpus import cmudict d = cmudict.dict() def nsyl(word): return [len(list(y for y in x if y[-1].isdigit())) for x in d[word.lower()]] No entanto, para palavras fora do dicionário do cmu, como nomes …

8 nlp 

Qual é a melhor / maneira correta de combinar a análise de texto com outros recursos? Por exemplo, eu tenho um conjunto de dados com algum texto, mas também outros recursos / categorias. O vetorizador TF-IDF do SKlearn transforma dados de texto em matrizes esparsas. Eu posso usar essas matrizes …

8 python  scikit-learn  pandas  tfidf 

Em trabalhos como esse , muitas vezes vejo curvas de treinamento com esse tipo de forma: Nesse caso, o SGD foi utilizado com um fator de 0,9 e a taxa de aprendizado diminuiu de 10 a cada 30 épocas. Por que existe uma redução tão grande no erro quando a …

8 optimization 

Estou fazendo uma análise de dados exploratória em alguns dados e recebo estes histogramas: Isso parece um candidato para uma transformação de log nos dados, então eu executo o seguinte código Python para transformar os dados: df["abv"].apply(np.log).hist() df["ibu"].apply(np.log).hist() plt.show() E eu recebo este novo gráfico dos histogramas transformados: Estou certo …

8 python  statistics  pandas 

Algoritmos de árvore de decisão padrão, como ID3 e C4.5, têm uma abordagem de força bruta para escolher o ponto de corte em um recurso contínuo. Cada valor é testado como um possível ponto de corte. (Por testado, quero dizer que, por exemplo, o ganho de informação é calculado em …

8 decision-trees 

ATENÇÃO: Não estou tentando melhorar o exemplo a seguir. Eu sei que você pode obter mais de 99% de precisão. O código inteiro está na pergunta. Quando tentei esse código simples, obtive cerca de 95% de precisão; se eu simplesmente alterar a função de ativação de sigmoid para relu, ela …

8 python  neural-network  keras  image-classification 

TL; DR: dado um grande conjunto de dados de imagem (cerca de 36 GiB de pixels brutos) de dados não rotulados, como posso agrupar as imagens (com base nos valores de pixel) sem saber o número de clusters Kpara começar? Atualmente, estou trabalhando em um projeto de aprendizado não supervisionado …

8 clustering  tensorflow  k-means  unsupervised-learning  tsne 

Em muitos tutoriais de fluxo tensor ( exemplo ), "torres" são mencionadas sem uma definição. O que isso significa?

8 deep-learning  tensorflow  terminology 

Como estou lidando com dados altamente desequilibrados, usei o algoritmo SMOTE para reamostrar o conjunto de dados. Após a reamostragem do SMOTE, dividi o conjunto de dados reamostrado em conjuntos de treinamento / teste, usando o conjunto de treinamento para criar um modelo e um conjunto de testes para avaliar …

8 machine-learning  unbalanced-classes  evaluation 

Qual modelo de aprendizado de máquina ou aprendizado profundo ( deve ser supervisionado ) será o mais adequado para reconhecer padrões nos mercados financeiros? O que quero dizer com reconhecimento de padrões no mercado financeiro: A imagem a seguir mostra como um padrão de amostra (isto é, cabeça e ombro) …

8 machine-learning  deep-learning 

Eu uso o combo Keras-Tensorflow instalado com a opção de CPU (foi dito ser mais robusto), mas agora eu gostaria de experimentá-lo com a versão GPU. Existe uma maneira conveniente de mudar? Ou devo reinstalar totalmente o Tensorflow? A versão da GPU é confiável?

8 tensorflow  keras  gpu 

Preciso obter a probabilidade de cada ponto no meu conjunto de dados. A idéia é calcular a matriz de distâncias (a primeira coluna conecta as distâncias ao primeiro cluster, a segunda coluna conte as distâncias ao segundo cluster e etc). O ponto mais próximo tem probabilidade = 1, o mais …

8 python  clustering  k-means 

Eu tenho que pensar em um modelo para identificar clientes em potencial (empresas) que têm uma grande chance de serem convertidos em clientes, e estou procurando conselhos sobre que tipo de modelo pode ser útil. As bases de dados que vai ter são, tanto quanto eu sei (eu não tê-los …

8 machine-learning  predictive-modeling  supervised-learning  unsupervised-learning 

Eles parecem a mesma coisa para mim, mas não tenho certeza. Atualização: em retrospecto, essa não era uma pergunta muito boa. OLS refere-se ao ajuste de uma linha aos dados e o RSS é a função de custo usada pelo OLS. Ele encontra os parâmetros que fornecem a menor soma …

8 linear-regression 

Estou analisando mais profundamente a filtragem colaborativa. Um artigo realmente interessante é "Um Estudo Comparativo de Algoritmos de Filtragem Colaborativa" http://arxiv.org/pdf/1205.3193.pdf Para selecionar qual algoritmo de CF deve ser usado, o artigo se refere à densidade do conjunto de dados. O que isso não faz é explicar como você realmente …

8 machine-learning  dataset  recommender-system