Ciência de dados

Costumo usar Nose, Tox ou Unittest ao testar meu código python, especialmente quando ele precisa ser integrado a outros módulos ou outras partes do código. No entanto, agora que me vi usando R mais que python para modelagem e desenvolvimento de ML. Percebi que realmente não testei meu código R …

10 r  software-development 

Foi-me atribuída esta tarefa para analisar os logs do servidor de nosso aplicativo, que contém logs de exceção, logs de banco de dados, etc. Sou novo no aprendizado de máquina, usamos o Spark com pesquisa elástica e o Sparks MLlib (ou PredictionIO). O resultado seria poder prever com base nos …

10 machine-learning  predictive-modeling  apache-spark 

Estou procurando projetar um sistema que, com um parágrafo de texto, possa categorizá-lo e identificar o contexto: É treinado com parágrafos de texto gerados pelo usuário (como comentários / perguntas / respostas) Cada item do conjunto de treinamento será marcado com. Assim, por exemplo ("categoria 1", "parágrafo de texto") Haverá …

10 neural-network  text-mining  multiclass-classification  word-embeddings 

Eu aprendo melhor através da experimentação e exemplo. Estou aprendendo sobre redes neurais e tenho (o que acho) um bom entendimento de classificação e regressão e também aprendizado supervisionado e não supervisionado, mas me deparei com algo que não consigo descobrir; Se eu quisesse treinar uma IA para jogar um …

10 machine-learning  neural-network 

Eu vi alguns resultados impressionantes dos modelos LSTM produzindo textos como Shakespeare. Eu queria saber se existe um pacote LSTM para R. Eu pesquisei por ele, mas só encontrei pacotes para Python e Julia. (talvez haja algum problema de desempenho que explique por que esses programas são mais preferíveis ao …

10 r  neural-network  rnn 

Acabei de ler o artigo de Geoff Hinton sobre a transformação de autoencodificadores Hinton, Krizhevsky e Wang: transformando codificadores automáticos . Em Redes Neurais Artificiais e Machine Learning, 2011. e gostaria muito de brincar com algo assim. Mas, depois de ler, não consegui obter detalhes suficientes do artigo sobre como …

10 neural-network  deep-learning  autoencoder 

Eu já tenho uma implementação para um único agente que trabalha em um problema dinâmico de precificação com o objetivo de maximizar a receita. O problema com o qual estou trabalhando, no entanto, envolve vários produtos diferentes que são substitutos um do outro, portanto, o preço dinâmico de todos eles …

10 machine-learning  reinforcement-learning 

Eu tenho um quadro de dados pandas (X11) como este: Na verdade, eu tenho 99 colunas até dx99 dx1 dx2 dx3 dx4 0 25041 40391 5856 0 1 25041 40391 25081 5856 2 25041 40391 42822 0 3 25061 40391 0 0 4 25041 40391 0 5856 5 40391 25002 …

10 python  data-cleaning  pandas  anaconda 

Estou procurando um site ou livro em que vários exemplos práticos sejam dados passo a passo, explicando como eles escolhem os recursos relevantes, o procedimento de seleção de modelos, etc.

10 machine-learning  feature-selection 

Possui corpus de mais de um milhão de documentos Para um determinado documento, deseja encontrar documentos semelhantes usando cosseno como no modelo de espaço vetorial d1⋅d2/(||d1||||d2||)d1⋅d2/(||d1||||d2||)d_1 \cdot d_2 / ( ||d_1|| ||d_2|| ) Todos os tf foram normalizados usando frequência aumentada, para evitar um viés em direção a documentos mais …

10 text-mining  similarity 

Eu tenho um grande conjunto de dados que preciso dividir em grupos de acordo com parâmetros específicos. Quero que o trabalho seja processado da maneira mais eficiente possível. Eu posso imaginar duas maneiras de fazer isso Opção 1 - Criar mapa a partir do RDD original e filtrar def customMapper(record): …

10 apache-spark  pyspark 

Eu tenho um grande conjunto de dados com objetos JSON de 9m em ~ 300 bytes cada. São postagens de um agregador de links: basicamente links (uma URL, título e ID do autor) e comentários (texto e ID do autor) + metadados. Eles poderiam muito bem ser registros relacionais em …

10 data-mining  bigdata  databases  sql  mongodb 

Estou tentando aprender a raspagem da Web usando Python sozinho como parte de um esforço para aprender a análise de dados. Estou tentando raspar a página da Web do imdb cujo URL é o seguinte: http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012 Estou usando o módulo BeautifulSoup. A seguir está o código que estou usando: r …

10 data-mining  python  scraping 

Eu tenho um corpus de texto com os tópicos correspondentes. Por exemplo, "A rapper Tupac was shot in LA"e foi identificado como ["celebrity", "murder"]. Então, basicamente, cada vetor de recursos pode ter muitos rótulos (não a mesma quantidade. O primeiro vetor de recurso pode ter 3 rótulos, segundo 1, terceiro …

10 machine-learning  text-mining 

Estou procurando pacotes (em python, R ou em um pacote independente) para executar o aprendizado on-line para prever dados de estoque. Eu encontrei e li sobre o Vowpal Wabbit ( https://github.com/JohnLangford/vowpal_wabbit/wiki ), que parece ser bastante promissor, mas estou me perguntando se existem outros pacotes por aí. Desde já, obrigado.

10 machine-learning  online-learning