Ciência de dados

Alguém pode me informar sobre as compensações envolvidas na escolha entre o Storm e o MapReduce no Hadoop Cluster para processamento de dados? Obviamente, além do óbvio, o Hadoop (processamento via MapReduce em um Hadoop Cluster) é um sistema de processamento em lote e o Storm é um sistema de …

12 bigdata  efficiency  apache-hadoop  distributed 

Trabalhando no que geralmente pode ser chamado de projetos de "dados médios", consegui paralelizar meu código (principalmente para modelagem e previsão em Python) em um único sistema, em qualquer lugar de 4 a 32 núcleos. Agora, estou analisando o dimensionamento de clusters no EC2 (provavelmente com StarCluster / IPython, mas …

12 parallel  clusters  aws 

No espírito da famosa piada Tensorflow Fizz Buzz e do problema XOr , comecei a pensar, se é possível projetar uma rede neural que implemente a função y= x2y=x2y = x^2 ? Dada alguma representação de um número (por exemplo, como um vetor em forma binária, para que esse número …

12 machine-learning  neural-network 

Eu sei que uma arquitetura de rede neural é baseada principalmente no problema em si e nos tipos de entrada / saída, mas ainda assim - sempre existe um "quadrado" ao começar a construir um. Portanto, minha pergunta é - dado um conjunto de dados de entrada MxN (M é …

12 neural-network 

A maioria dos modelos avançados de aprendizado profundo, como VGG, ResNet etc., requer imagens quadradas como entrada, geralmente com um tamanho de pixel de 224x224224x224224x224 . Existe uma razão pela qual a entrada tenha que ter a mesma forma ou posso construir um modelo convnet com, digamos, 100x200100x200100x200 também (se …

12 deep-learning  image-classification  image-recognition 

Eu estava tentando usar as importâncias de recursos da Random Forests para executar alguma seleção empírica de recursos para um problema de regressão em que todos os recursos são categóricos e muitos deles têm muitos níveis (da ordem de 100-1000). Dado que a codificação one-hot cria uma variável dummy para …

12 scikit-learn  feature-selection  random-forest  xgboost  categorical-data 

Espero que os trechos a seguir forneçam uma ideia do que será minha pergunta. Estes são de http://neuralnetworksanddeeplearning.com/chap3.html O aprendizado então diminui gradualmente. Finalmente, por volta da época 280, a precisão da classificação praticamente para de melhorar. Épocas posteriores apenas veem pequenas flutuações estocásticas próximas ao valor da precisão na …

12 neural-network  overfitting 

Eu tenho um dataframe de pandas com toneladas de colunas categóricas, que planejo usar na árvore de decisão com o scikit-learn. Eu preciso convertê-los em valores numéricos (não um vetores quentes). Eu posso fazer isso com o LabelEncoder do scikit-learn. O problema é que existem muitos deles e não quero …

12 scikit-learn  pandas  categorical-data  labels 

Estou tentando implementar este artigo em um conjunto de imagens médicas. Eu estou fazendo isso em Keras. A rede consiste essencialmente em 4 camadas conv e max-pool, seguidas por uma camada totalmente conectada e um classificador soft max. Até onde sei, segui a arquitetura mencionada no artigo. No entanto, a …

12 machine-learning  python  deep-learning  keras 

Estou iniciando um projeto em que a tarefa é identificar os tipos de tênis nas imagens. Atualmente, estou lendo as implementações TensorFlow e Torch . Minha pergunta é: quantas imagens por classe são necessárias para alcançar um desempenho razoável de classificação?

12 machine-learning  neural-network  image-classification  convnet  image-recognition 

Eu tenho um problema de classificação com dados altamente desequilibrados. Li que a sobredimensionagem e a subamostragem, bem como a alteração do custo de resultados categóricos sub-representados, levarão a um melhor ajuste. Antes disso, o tensorflow categorizava cada entrada como o grupo majoritário (e ganha mais de 90% de precisão, …

12 tensorflow  loss-function 

fundo: em xgboost os tentativas de iteração para caber uma árvore f t sobre todos os n exemplos que minimiza o seguinte objectivo:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] onde são de primeira ordem e segunda derivadas de ordem mais nosso anterior melhor estimativa y (de iteração t - 1 ):gi,higi,hig_i, h_iy^y^\hat{y}t−1t−1t-1 gi=dy^l(yi,y^)gi=dy^l(yi,y^)g_i=d_{\hat{y}}l(y_i, …

12 xgboost  gbm 

Eu estava estudando a possibilidade de classificar o som (por exemplo, sons de animais) usando espectrogramas. A idéia é usar redes neurais convolucionais profundas para reconhecer segmentos no espectrograma e emitir um (ou muitos) rótulos de classe. Esta não é uma idéia nova (veja, por exemplo , classificação de som …

12 deep-learning  multilabel-classification  audio-recognition 

Conheço alguém que está trabalhando em um projeto que envolve a ingestão de arquivos de dados sem levar em consideração as colunas ou os tipos de dados. A tarefa é obter um arquivo com qualquer número de colunas e vários tipos de dados e gerar estatísticas de resumo nos dados …

12 categorical-data  numerical 

Eu plotei as importâncias do recurso em florestas aleatórias com o scikit-learn . Para melhorar a previsão usando florestas aleatórias, como posso usar as informações da plotagem para remover recursos? Ou seja, como descobrir se um recurso é inútil ou pior ainda, o desempenho das florestas aleatórias, com base nas …

12 feature-selection  random-forest  scikit-learn