Ciência de dados

Minha tarefa de 'aprendizado de máquina' é separar o tráfego benigno da Internet do tráfego malicioso. No cenário do mundo real, a maioria (digamos 90% ou mais) do tráfego da Internet é benigna. Assim, senti que deveria escolher uma configuração de dados semelhante para treinar meus modelos também. Mas me …

48 machine-learning  dataset  unbalanced-classes 

Eu sou um estudante de doutorado em Geofísica e trabalho com grandes quantidades de dados de imagem (centenas de GB, dezenas de milhares de arquivos). Eu sei svne gitrazoavelmente bem e vem a valorizar a história do projeto, combinado com a capacidade de facilmente trabalhar juntos e ter proteção contra …

46 bigdata  databases  binary  version-control 

Eu uso o RStudio para programação R. Lembro-me de IDE-s sólidos de outras pilhas de tecnologia, como Visual Studio ou Eclipse. Eu tenho duas perguntas: Quais outros IDE-s além do RStudio são usados ​​(considere fornecer uma breve descrição neles). Algum deles tem vantagens visíveis sobre o RStudio? Refiro-me principalmente aos …

46 r  tools  rstudio  programming 

Quais são as práticas comuns / melhores para lidar com dados de tempos para aplicativos de aprendizado de máquina? Por exemplo, se no conjunto de dados houver uma coluna com registro de data e hora do evento, como "05-05-2014", como você pode extrair recursos úteis dessa coluna, se houver? Desde …

45 machine-learning  time-series  feature-selection 

Atualmente, estou trabalhando como cientista de dados em uma empresa de varejo (meu primeiro emprego como DS, portanto, essa pergunta pode ser resultado da minha falta de experiência). Eles têm um grande estoque de projetos de ciência de dados realmente importantes que teriam um grande impacto positivo se implementados. Mas. …

44 data-wrangling 

Quantos parâmetros possui um único LSTM empilhado? O número de parâmetros impõe um limite inferior ao número de exemplos de treinamento necessários e também influencia o tempo de treinamento. Portanto, conhecer o número de parâmetros é útil para treinar modelos usando LSTMs.

43 deep-learning  rnn 

estiveram lendo um pouco sobre LSTM e seu uso para séries temporais e tem sido interessante, mas difícil ao mesmo tempo. Uma coisa que tive dificuldades em entender é a abordagem para adicionar recursos adicionais ao que já é uma lista de recursos de séries temporais. Supondo que você tenha …

43 machine-learning  neural-network  deep-learning  time-series 

Motivação Trabalho com conjuntos de dados que contêm informações de identificação pessoal (PII) e às vezes preciso compartilhar parte de um conjunto de dados com terceiros, de uma maneira que não exponha as PII e sujeite meu empregador a responsabilidades. Nossa abordagem usual aqui é reter os dados inteiramente ou, …

42 data-cleaning  anonymization 

f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, no entanto, tem ambas as funções nos documentos . LeaL ReLU Fonte do LeakyReLU : return K.relu(inputs, alpha=self.alpha) Portanto (consulte o código ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, x) - \alpha \max(0, -x) PReLU …

42 neural-network 

Eu gostaria de usar uma rede neural para classificação de imagens. Vou começar com o CaffeNet pré-treinado e treiná-lo para o meu aplicativo. Como devo preparar as imagens de entrada? Nesse caso, todas as imagens são do mesmo objeto, mas com variações (pense: controle de qualidade). Eles estão em escalas …

41 neural-network  image-classification  preprocessing  convnet 

Parece que a semelhança de cosseno de dois recursos é apenas o produto escalar escalonado pelo produto de suas magnitudes. Quando a semelhança de cosseno produz uma métrica de distância melhor que o produto escalar? Ou seja, o produto escalar e a semelhança de cosseno têm diferentes pontos fortes ou …

41 classification 

Eu obtive o ValueError ao prever dados de teste usando um modelo RandomForest. Meu código: clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2) clf.fit(X_fit, y_fit) df_test.fillna(df_test.mean()) X_test = df_test.values y_pred = clf.predict(X_test) O erro: ValueError: Input contains NaN, infinity or a value too large for dtype('float32'). Como encontro os valores incorretos no …

41 python  random-forest  pandas 

Costumo ler que, no caso dos modelos de Aprendizado Profundo, a prática usual é aplicar mini-lotes (geralmente pequenos, 32/64) em várias épocas de treinamento. Eu realmente não consigo entender a razão por trás disso. A menos que eu esteja enganado, o tamanho do lote é o número de instâncias de …

40 machine-learning  deep-learning 

Eu estava lendo esta postagem no blog intitulada: O mundo financeiro quer abrir as caixas pretas da AI , onde o autor se refere repetidamente aos modelos de ML como "caixas pretas". Uma terminologia semelhante foi usada em vários locais ao se referir aos modelos de ML. Por que é …

40 machine-learning  terminology 

Sou Rprogramador de idiomas. Também faço parte do grupo de pessoas que são consideradas cientistas de dados, mas que vêm de outras disciplinas acadêmicas que não a CS. Isso funciona bem no meu papel de cientista de dados, no entanto, ao iniciar minha carreira Re ter apenas o conhecimento básico …

40 machine-learning  bigdata  statistics  programming  c