Ciência de dados

Eu tenho um conjunto de dados contendo dados sobre temperatura, precipitação e produtividade de soja de uma fazenda por 10 anos (2005 - 2014). Gostaria de prever os rendimentos para 2015 com base nesses dados. Observe que o conjunto de dados possui valores DIARIOS para temperatura e precipitação, mas apenas …

10 python  scikit-learn  pandas 

Eu sou um novato no XGBoost, então perdoe minha ignorância. Aqui está o código python: import pandas as pd import xgboost as xgb df = pd.DataFrame({'x':[1,2,3], 'y':[10,20,30]}) X_train = df.drop('y',axis=1) Y_train = df['y'] T_train_xgb = xgb.DMatrix(X_train, Y_train) params = {"objective": "reg:linear"} gbm = xgb.train(dtrain=T_train_xgb,params=params) Y_pred = gbm.predict(xgb.DMatrix(pd.DataFrame({'x':[4,5]}))) print Y_pred A …

10 python  linear-regression  xgboost 

Digamos que estamos prevendo as vendas de uma loja e meus dados de treinamento têm dois conjuntos de recursos: Um sobre as vendas da loja com as datas (o campo "Loja" não é exclusivo) Um sobre os tipos de loja (o campo "Loja" é exclusivo aqui) Portanto, a matriz seria …

10 machine-learning  regression  feature-selection  feature-construction  missing-data 

É muito comum recomendar que tenhamos dados do produto do usuário que tenham uma etiqueta como, por exemplo, "clique". Para aprender o modelo, preciso de dados de clique e sem clique. A abordagem mais simples de gerar é obter pares usuário-produto que não são encontrados nos dados de cliques. No …

10 machine-learning  data-mining 

Entendo como um Modelo Markov Oculto é usado em sequências genômicas, como encontrar um gene. Mas não entendo como chegar a um determinado modelo de Markov. Quero dizer, quantos estados o modelo deve ter? Quantas transições possíveis? O modelo deve ter um loop? Como eles saberiam que seu modelo é …

10 machine-learning  model-selection  hyperparameter  markov 

Eu gostaria de comparar a diferença entre a mesma palavra mencionada em diferentes fontes. Ou seja, como os autores diferem no uso de palavras mal definidas, como "democracia". Um breve plano foi Pegue os livros que mencionam o termo "democracia" como texto simples Em cada livro, substitua democracypordemocracy_%AuthorName% Treine um …

10 text-mining  word-embeddings 

Parece padrão em muitos pacotes de redes neurais emparelhar a função objetivo a ser minimizada com a função de ativação na camada de saída. Por exemplo, para uma camada de saída linear usada para regressão, é padrão (e geralmente apenas uma opção) ter uma função objetiva de erro ao quadrado. …

10 neural-network  gradient-descent 

Portanto, nosso conjunto de dados esta semana possui 14 atributos e cada coluna possui valores muito diferentes. Uma coluna tem valores abaixo de 1, enquanto outra coluna tem valores que variam de três a quatro dígitos inteiros. Aprendemos a normalização na semana passada e parece que você deveria normalizar os …

10 r  beginner 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 2 anos . A Web Semântica está morta? As ontologias estão mortas? Estou …

10 knowledge-base 

Estou tentando criar um hash sensível à localidade do cosseno, para poder encontrar pares de itens similares candidatos sem precisar comparar todos os pares possíveis. Eu tenho basicamente trabalhando, mas a maioria dos pares nos meus dados parece ter semelhança de cosseno no intervalo de -0.2 a +0.2, então estou …

10 machine-learning 

Estou tentando treinar uma rede neural artificial com duas camadas convolucionais (c1, c2) e duas camadas ocultas (c1, c2). Estou usando a abordagem de retropropagação padrão. No retrocesso, calculo o termo de erro de uma camada (delta) com base no erro da camada anterior, nos pesos da camada anterior e …

10 machine-learning  data-mining  neural-network  deep-learning 

Estou planejando usar o classificador SVM (scikit linear support vector machine) para classificação de texto em um corpus composto por 1 milhão de documentos rotulados. O que pretendo fazer é que, quando um usuário digitar alguma palavra-chave, o classificador primeiro a classifique em uma categoria e, em seguida, uma consulta …

10 machine-learning  classification  python  scikit-learn 

Estou trabalhando em uma campanha política na qual dezenas de voluntários farão promoções batendo nas portas nas próximas semanas. Dada uma lista com nomes, endereços e coordenadas longas / latinas, quais algoritmos podem ser usados ​​para criar uma lista de caminhada otimizada.

10 algorithms 

Vamos supor que eu queira treinar um algoritmo de regressão descendente de gradiente estocástico usando um conjunto de dados que possui N amostras. Como o tamanho do conjunto de dados é fixo, reutilizarei os dados T vezes. Em cada iteração ou "época", eu uso cada amostra de treinamento exatamente uma …

10 python  gradient-descent  regression 

Gostaria de saber que tipo de validação cruzada de modelo escolher para o problema de classificação: dobra K ou subamostragem aleatória (amostragem de inicialização)? Meu melhor palpite é usar 2/3 do conjunto de dados (que é ~ 1000 itens) para treinamento e 1/3 para validação. Nesse caso, a dobra em …

10 cross-validation  sampling