Perguntas com a marcação «data-cleaning»

Costumo lidar com dados confusos da pesquisa, que exigem muita limpeza antes que qualquer estatística possa ser feita. Eu costumava fazer isso "manualmente" no Excel, às vezes usando fórmulas do Excel e, às vezes, verificando as entradas uma a uma. Comecei a executar cada vez mais essas tarefas escrevendo scripts …

16 r  data-cleaning 

Quais são os métodos de ponta na desduplicação de registro? Às vezes, a desduplicação também é chamada: ligação de registro, resolução de entidade, resolução de identidade, mesclagem / eliminação. Eu sei, por exemplo, sobre CBLOCK [1]. Eu apreciaria se as respostas também incluíssem referências ao software existente que implementa os …

13 clustering  data-cleaning  record-linkage 

Sou assistente de pesquisa de um laboratório (voluntário). Eu e um pequeno grupo fomos encarregados da análise de dados para um conjunto de dados extraídos de um grande estudo. Infelizmente, os dados foram coletados com um aplicativo on-line de algum tipo e não foram programados para gerar os dados da …

12 r  excel  data-cleaning 

Um problema comum é que o ML é de baixa qualidade dos dados: erros nos valores dos recursos, instâncias classificadas incorretamente, etc. Uma maneira de resolver esse problema é passar manualmente pelos dados e verificar, mas existem outras técnicas? (Aposto que existem!) Quais são os melhores e por quê?

10 data-cleaning 

(Não tenho a menor idéia de como marcar isso porque não sou estatístico e não sei em que campo esse campo se enquadra. Sinta-se à vontade para adicionar tags mais adequadas.) Eu trabalho para uma empresa que produz software de análise de dados e precisamos de um conjunto decente de …

9 data-cleaning 

Existem problemas científicos com o uso do ML para ajudar na anotação humana? Eu tenho um conjunto de dados sem rótulo de 3 classes em que apenas 1 em 500 elementos pertencem às 2 classes de interesse. Os rótulos não são trivialmente discerníveis para todos os elementos dos dados não …

7 classification  unbalanced-classes  data-cleaning  active-learning