Estatísticas e Big Data

http://www.deeplearningbook.org/contents/ml.html página 116 explica o erro de bayes como abaixo O modelo ideal é um oráculo que simplesmente conhece a verdadeira distribuição de probabilidade que gera os dados. Mesmo esse modelo ainda apresentará algum erro em muitos problemas, porque ainda pode haver algum ruído na distribuição. No caso de aprendizado …

15 machine-learning  deep-learning  terminology 

Praticamente qualquer banco de dados que desejamos fazer previsões usando algoritmos de aprendizado de máquina encontrará valores ausentes para algumas das características. Existem várias abordagens para resolver esse problema, para excluir linhas que possuem valores ausentes até que sejam preenchidas com os valores médios das características. Gostaria de usar para …

15 machine-learning  scikit-learn  data-imputation 

Estou tentando entender a curva de recall de precisão, entendo o que são precisão e recall, mas o que não entendo é o valor da "linha de base". Eu estava lendo este link https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ e eu não entendo a parte da linha de base, como mostrado em "Uma curva de …

15 r  machine-learning  classification  precision-recall 

Como o randomForestpacote estima probabilidades de classe quando uso predict(model, data, type = "prob")? Eu estava usando rangerpara treinar florestas aleatórias usando o probability = Targumento para prever probabilidades. rangerdiz na documentação que: Cultive uma floresta de probabilidade como em Malley et al. (2012). Simulei alguns dados e tentei ambos …

15 r  random-forest  prediction 

Estou analisando um conjunto de dados usando um modelo de efeitos mistos com um efeito fixo (condição) e dois efeitos aleatórios (participante devido ao design do sujeito e ao par). O modelo foi gerado com o lme4pacote: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Em seguida, realizei um teste de razão de verossimilhança desse modelo em …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Devo ensinar o teorema de Frish Waugh em econometria, que não estudei. Entendi a matemática por trás disso e espero que a idéia também "o coeficiente obtido para um determinado coeficiente de um modelo linear múltiplo seja igual ao coeficiente do modelo de regressão simples se você" eliminar "a influência …

15 regression  econometrics  least-squares  projection  decomposition 

Estou fazendo análise exploratória de dados (EDA) em um conjunto de dados. Depois, selecionarei alguns recursos para prever uma variável dependente. A pergunta é: Devo fazer a EDA apenas no meu conjunto de dados de treinamento? Ou devo juntar os conjuntos de dados de treinamento e teste juntos, fazer a …

15 dataset  feature-selection  feature-construction  eda 

Estou planejando usar a validação cruzada estratificada de 10 vezes repetida (10 vezes) em cerca de 10.000 casos usando o algoritmo de aprendizado de máquina. Cada vez que a repetição será feita com sementes aleatórias diferentes. Nesse processo, crio 10 instâncias de estimativas de probabilidade para cada caso. 1 instância …

15 roc 

Eu sempre luto para obter a verdadeira essência do problema incidental dos parâmetros. Li em várias ocasiões que os estimadores de efeitos fixos de modelos de dados de painel não lineares podem ser severamente influenciados por causa do "bem conhecido" problema de parâmetros incidentais. Quando peço uma explicação clara desse …

15 nonlinear-regression  fixed-effects-model  bias 

Alguém pode me dizer como eu devo construir uma rede neural usando o método batch? Li que, no modo batch, para todas as amostras do conjunto de treinamento, calculamos os pesos de erro, delta e, portanto, delta para cada neurônio na rede e, em vez de atualizar imediatamente os pesos, …

15 machine-learning  neural-networks 

Suponha que tenhamos uma resposta Y e os preditores X1, ...., Xn. Se tentássemos ajustar Y através de um modelo linear de X1, ...., Xn, e acontecesse que a verdadeira relação entre Y e X1, ..., Xn não fosse linear, poderíamos ser capazes para consertar o modelo, transformando os X …

15 machine-learning  random-forest 

Estou tentando entender alguns trabalhos de Mark van der Laan. Ele é um estatístico teórico em Berkeley, trabalhando com problemas que se sobrepõem significativamente ao aprendizado de máquina. Um problema para mim (além da matemática profunda) é que ele muitas vezes acaba descrevendo abordagens familiares de aprendizado de máquina usando …

15 mathematical-statistics  estimation  nonparametric  autocorrelation  censoring 

Estou lendo um artigo científico sobre classificação de imagens. Nos resultados experimentais, eles falam da precisão entre o top 1 e o top 5, mas nunca ouvi falar do termo, nem consigo encontrá-lo usando o google. Alguém pode me dar uma definição ou me apontar para algum lugar? :)

15 machine-learning 

Então, plotei o ACF / PACF dos retornos de petróleo e esperava ver alguma autocorrelação positiva, mas, para minha surpresa, só recebo autocorrelação significativa negativa. Como devo interpretar o gráfico acima? Eles parecem indicar que há uma tendência para o retorno do petróleo aumentar quando diminui anteriormente e vice-versa, portanto, …

15 time-series 

Digamos que eu tenha duas ou mais populações de amostras de vetores de valor contínuo n-dimensionais. Existe uma maneira não paramétrica de testar se essas amostras são da mesma distribuição? Se sim, existe uma função em R ou python para isso?

15 r  distributions  nonparametric  python