Estatísticas e Big Data

Atualmente, tenho que analisar aproximadamente 20 milhões de registros e criar modelos de previsão. Até agora, experimentei o Statistica, SPSS, RapidMiner e R. Entre estes, o Statistica parece ser mais adequado para lidar com mineração de dados e a interface do usuário do RapidMiner também é muito útil, mas parece …

27 large-data  software  data-mining 

A Mecânica Quântica generalizou a teoria da probabilidade para números negativos / imaginários, principalmente para explicar padrões de interferência, dualidade onda / partícula e coisas geralmente estranhas como essa. Pode ser visto de maneira mais abstrata, porém, como uma generalização não comutativa da probabilidade bayesiana (citação de Terrence Tao). Estou …

27 probability 

No contexto do aprendizado de máquina, qual é a diferença entre aprendizado não supervisionado aprendizado supervisionado e aprendizagem semi-supervisionada? E quais são algumas das principais abordagens algorítmicas a serem observadas?

27 machine-learning  unsupervised-learning  supervised-learning  semi-supervised 

A análise entre mercados é um método de modelar o comportamento do mercado por meio da busca de relacionamentos entre diferentes mercados. Muitas vezes, uma correlação é calculada entre dois mercados, como o S&P 500 e os títulos do Tesouro dos EUA em 30 anos. Esses cálculos geralmente são baseados …

27 correlation  stationarity 

Pergunta: Do ponto de vista do estatístico (ou de um profissional), pode-se inferir a causalidade usando escores de propensão com um estudo observacional ( não um experimento )? Por favor, não queira iniciar uma guerra de chamas ou um debate fanático. Antecedentes: No nosso programa de doutorado em estatística, apenas …

27 causality  propensity-scores 

Suponha que você tenha uma sacola com ladrilhos, cada uma com uma letra. Existem blocos com a letra 'A', com 'B' e assim por diante, e 'curinga' (temos ). Suponha que você tenha um dicionário com um número finito de palavras. Você escolhe ladrilhos da sacola sem reposição. Como você …

27 sampling  games  probability 

Sou mais programador do que estatístico, então espero que essa pergunta não seja muito ingênua. Isso acontece na execução de programas de amostragem em momentos aleatórios. Se eu coletar N = 10 amostras em tempo aleatório do estado do programa, eu poderia ver a função Foo sendo executada em, por …

27 binomial  beta-binomial  beta-distribution 

Estou trabalhando no aprendizado de máquina teórico - no aprendizado de transferência, para ser específico - para meu doutorado. Por curiosidade, por que devo fazer um curso sobre otimização convexa? Que conclusões da otimização convexa posso usar em minha pesquisa sobre aprendizado teórico de máquinas?

27 machine-learning  optimization  convex  transfer-learning 

Li em várias referências que a estimativa de Lasso para o vetor de parâmetro de regressão BBB é equivalente ao modo posterior de BBB no qual a distribuição anterior para cada BiBiB_i é uma distribuição exponencial dupla (também conhecida como distribuição de Laplace). Eu tenho tentado provar isso, alguém pode …

27 regression  bayesian  lasso  prior  regularization 

A precisão média (AP) é a área sob a curva de precisão de recuperação (AUC da curva PR)? EDITAR: Aqui estão alguns comentários sobre a diferença entre PR AUC e AP. A AUC é obtida por interpolação trapezoidal da precisão. Uma métrica alternativa e geralmente quase equivalente é a Precisão …

27 scikit-learn  precision-recall  auc  average-precision 

Concluí o curso Machine Learning de Andrew Ng há cerca de um ano e agora estou escrevendo minha exploração matemática do ensino médio sobre o funcionamento da regressão logística e técnicas para otimizar o desempenho. Uma dessas técnicas é, obviamente, a regularização. O objetivo da regularização é evitar o ajuste …

27 regression  machine-learning  optimization  regularization  overfitting 

Estou tentando resolver a tarefa de regressão. Descobri que três modelos estão funcionando bem para diferentes subconjuntos de dados: LassoLARS, SVR e Gradient Tree Boosting. Percebi que quando faço previsões usando todos esses três modelos e, em seguida, faço uma tabela de 'saída verdadeira' e saídas dos meus três modelos, …

27 regression  scikit-learn  ensemble 

Preciso usar variáveis ​​binárias (valores 0 e 1) em médias k. Mas k-means funciona apenas com variáveis ​​contínuas. Eu sei que algumas pessoas ainda usam essas variáveis ​​binárias em k-means, ignorando o fato de que k-means é projetado apenas para variáveis ​​contínuas. Isso é inaceitável para mim. Questões: Então, qual …

27 r  clustering  binary-data  k-means  mixed-type-data 

Eu gostaria de estudar eventos raros em uma população finita. Como não tenho certeza sobre qual estratégia é mais adequada, eu gostaria de receber dicas e referências relacionadas a esse assunto, embora eu saiba que isso foi amplamente abordado. Eu realmente não sei por onde começar. Meu problema é de …

27 logistic  rare-events 

O problema: Eu li em outras postagens que predictnão estão disponíveis para lmermodelos de efeitos mistos {lme4} no [R]. Tentei explorar esse assunto com um conjunto de dados de brinquedos ... Fundo: O conjunto de dados é adaptado desta fonte e está disponível como ... require(gsheet) data <- read.csv(text = …

27 r  mixed-model  lme4-nlme