Ciência de dados

Eu tenho um DataFrame de pandas que possui as seguintes colunas: n_0 n_1 p_0 p_1 e_0 e_1 Eu quero transformá-lo para ter colunas e sub-colunas: 0 n p e 1 n p e Eu procurei na documentação e estou completamente perdido em como implementar isso. Alguém tem alguma sugestão?

8 pandas 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 5 anos . Alguém pode sugerir bons livros para aprender hadoop e …

8 apache-hadoop 

Quero escrever um serviço de mineração de dados no Google Go que colete dados por meio de raspagem e APIs. No entanto, como o Go não possui um bom suporte de ML, eu gostaria de fazer o material de ML em Python. Tendo experiência na Web, conectaria os dois serviços …

8 machine-learning  data-mining 

Estou tentando definir uma métrica entre os cargos no campo de TI. Para isso, preciso de alguma métrica entre as palavras dos cargos que não aparecem juntas no mesmo cargo, por exemplo, métrica entre as palavras sênior, primário, líder, chefe, vice-presidente, diretor, coisas, diretor, chefe, ou as palavras analista, especialista, …

8 machine-learning  dataset 

Certa vez, ouvi dizer que filtrar spam usando listas negras não é uma boa abordagem, pois algum usuário que está procurando entradas no seu conjunto de dados pode estar procurando informações específicas das fontes bloqueadas. Também seria um fardo validar continuamente o estado atual de cada remetente de spam bloqueado, …

8 bigdata  efficiency 

Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, …

8 bigdata  efficiency  performance  scalability  distributed 

No meu laptop dell core i7 - 16 GB de RAM - 4 gb de 960 m de GPU, estou trabalhando em um projeto para classificar imagens de TC de pulmão usando a CNN 3d. Estou usando a versão CPU do tensorflow. As imagens são preparadas com um tamanho de …

7 python  tensorflow  cnn 

Acabei de começar a aprender redes neurais para aprender profundamente com o cs231. Estou tentando implementar a rede neural em Python. Eu estou olhando para usar o Tensorflow ou o scikit-learn. Quais são os prós e os contras dessas bibliotecas para este aplicativo?

7 neural-network  deep-learning  tensorflow 

Por isso, fiquei imaginando como alguém, por exemplo, pode otimizar melhor o modelo que está tentando construir quando confrontado com problemas apresentados por alto viés ou alta variação. Agora, é claro, você pode jogar com o parâmetro de regularização para chegar a um final satisfatório, mas eu queria saber se …

7 machine-learning  variance  bias 

Digamos que eu treinei uma rede codificador-decodificador em um conjunto de dados de gato usando o erro de reconstrução como função de perda. A rede é totalmente treinada e o decodificador é capaz de reconstruir boas imagens de gatos . Agora, e se eu usar a mesma rede e inserir …

7 neural-network  deep-learning  autoencoder 

Você consideraria isso um super ajuste?

7 overfitting 

Eu quero usar um pequeno conjunto de dados para criar o modelo CNN. Então, eu estou usando o aumento de dados para aumentar o conjunto de dados do trem. Devo usar todas as técnicas de aumento (argumentos) listadas aqui ? Percebi que adicionar muitos argumentos diminui a precisão do modelo …

7 deep-learning  keras  tensorflow  convnet 

Desconsiderando possíveis restrições computacionais, existem aplicações gerais em que a lematização seria uma etapa contraproducente ao analisar dados de texto? Por exemplo, a lematização seria algo que não é feito ao criar um modelo com reconhecimento de contexto? Para referência, lematização por dictinory.com é o ato de agrupar as formas …

7 nlp  data-cleaning 

Eu tenho um vetor e quero detectar outliers nele. A figura a seguir mostra a distribuição do vetor. Pontos vermelhos são outliers. Pontos azuis são pontos normais. Pontos amarelos também são normais. Eu preciso de um método de detecção de outlier (um método não paramétrico) que possa apenas detectar pontos …

7 unsupervised-learning  anomaly-detection  outlier  distribution 

Eu tenho uma matriz que é preenchida com elementos discretos e preciso agrupá-los (usando R) em grupos intactos. Então, por exemplo, considere esta matriz: [A B B C A] [A A B A A] [A B B C C] [A A A A A] Haveria dois clusters separados para A, …

7 r  clustering