Perguntas com a marcação «large-data»

Se tenho dados positivos altamente distorcidos, geralmente tomo logs. Mas o que devo fazer com dados não negativos altamente distorcidos que incluem zeros? Eu vi duas transformações usadas: registro( x + 1 )log⁡(x+1)\log(x+1) que possui o recurso puro que 0 mapeia para 0. registro( x + c )log⁡(x+c)\log(x+c) que c …

191 data-transformation  large-data 

Em um artigo recente da Amstat News , os autores (Mark van der Laan e Sherri Rose) declararam que "sabemos que, para tamanhos de amostra grandes o suficiente, todos os estudos - incluindo aqueles nos quais a hipótese nula de nenhum efeito é verdadeira - declararão um efeito estatisticamente significativo …

129 hypothesis-testing  sample-size  dataset  large-data 

Muitos trabalhos estatísticos exigem experiência com dados em grande escala. Quais são os tipos de habilidades estatísticas e computacionais que seriam necessárias para trabalhar com grandes conjuntos de dados. Por exemplo, que tal construir modelos de regressão com um conjunto de dados com 10 milhões de amostras?

107 regression  machine-learning  multivariate-analysis  large-data 

Eu espero que o título seja auto-explicativo. No Kaggle, a maioria dos vencedores usa o empilhamento com algumas vezes centenas de modelos de base, para extrair alguns% extra de MSE, precisão ... Em geral, na sua experiência, o quão importante é a modelagem sofisticada, como empilhar versus simplesmente coletar mais …

56 large-data  stacking  collecting-data  kaggle 

Ou mais ainda "será"? O Big Data torna as estatísticas e os conhecimentos relevantes ainda mais importantes, mas parece subestimar a teoria de amostragem. Eu já vi esse hype em torno de 'Big Data' e não posso deixar de pensar que "por que" eu gostaria de analisar tudo ? Não …

54 sampling  data-mining  large-data 

Estou procurando um bom algoritmo (que significa computação mínima, requisitos mínimos de armazenamento) para estimar a mediana de um conjunto de dados muito grande para armazenar, de modo que cada valor possa ser lido apenas uma vez (a menos que você armazene explicitamente esse valor). Não há limites nos dados …

48 algorithms  median  large-data 

Fui perguntado em várias ocasiões a pergunta: O que é Big-Data? Tanto por estudantes quanto por meus parentes que estão começando a se interessar por estatísticas e ML. Encontrei este CV-post . E sinto que concordo com a única resposta lá. A página da Wikipedia também tem alguns comentários, mas …

44 large-data 

"Big data" está em toda parte na mídia. Todo mundo diz que "big data" é algo importante para 2012, por exemplo, o KDNuggets faz pesquisas sobre tópicos importantes para 2012 . No entanto, tenho profundas preocupações aqui. Com o big data, todo mundo parece feliz apenas em conseguir alguma coisa …

40 data-mining  dataset  large-data  validation 

Hoje, no Cross Validated Journal Club (por que você não estava lá?), A @mbq perguntou: Você acha que nós (cientistas modernos de dados) sabemos o que significa significado? E como isso se relaciona com a nossa confiança em nossos resultados? @Michelle respondeu como alguns (inclusive eu) costumam fazer: Estou achando …

37 hypothesis-testing  p-value  large-data 

Quais são os conjuntos de dados disponíveis gratuitamente para classificação com mais de 1000 recursos (ou pontos de amostra, se contiverem curvas)? Já existe um wiki da comunidade sobre conjuntos de dados gratuitos: Localizando amostras de dados disponíveis gratuitamente Mas aqui, seria bom ter uma lista mais focada que possa …

35 machine-learning  classification  dataset  large-data 

Estou tentando usar o scikit-learn para regressão polinomial. Pelo que li, a regressão polinomial é um caso especial de regressão linear. Eu esperava que talvez um dos modelos lineares generalizados do scikit possa ser parametrizado para se ajustar a polinômios de ordem superior, mas não vejo opção para isso. Consegui …

29 regression  machine-learning  large-data  polynomial  scikit-learn 

Atualmente, tenho que analisar aproximadamente 20 milhões de registros e criar modelos de previsão. Até agora, experimentei o Statistica, SPSS, RapidMiner e R. Entre estes, o Statistica parece ser mais adequado para lidar com mineração de dados e a interface do usuário do RapidMiner também é muito útil, mas parece …

27 large-data  software  data-mining 

Ultimamente, tenho trabalhado com grandes conjuntos de dados e encontrei muitos documentos sobre métodos de streaming. Para nomear alguns: Líder seguidor-regularizado e descida espelhada: teoremas de equivalência e regularização L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Aprendizado em fluxo contínuo: SVMs de uma passagem ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Primal estimado sub-GrAdient SOlver para …

25 machine-learning  references  large-data  online 

Eu tenho duas variáveis: Nome do Medicamento (DN) e Eventos Adversos (EA) correspondentes, que mantêm uma relação de muitos para muitos. Existem 33.556 nomes de medicamentos e 9.516 eventos adversos. O tamanho da amostra é de cerca de 5,8 milhões de observações. Quero estudar e entender a associação / relação …

24 r  categorical-data  data-visualization  large-data  association-measure 

Suponha que você esteja analisando um enorme conjunto de dados na ordem de bilhões de observações por dia, em que cada observação possui algumas milhares de variáveis ​​numéricas e categoriais esparsas e possivelmente redundantes. Digamos que exista um problema de regressão, um problema de classificação binária desequilibrada e uma tarefa …

21 r  machine-learning  data-mining  large-data