Estatísticas e Big Data

Seja um espaço de probabilidade, dada uma variável aleatória e um -algebra podemos construir uma nova variável aleatória , que é a expectativa condicional.(Ω,F,μ)(Ω,F,μ)(\Omega,\mathscr{F},\mu)ξ:Ω→Rξ:Ω→R\xi:\Omega \to \mathbb{R}σσ\sigmaG⊆FG⊆F\mathscr{G}\subseteq \mathscr{F}E[ξ|G]E[ξ|G]E[\xi|\mathscr{G}] Qual é exatamente a intuição para pensar em ? Entendo a intuição para o seguinte:E[ξ|G]E[ξ|G]E[\xi|\mathscr{G}] (i) onde é um evento (com probabilidade positiva).E[ξ|A]E[ξ|A]E[\xi|A]AAA …

20 probability  conditional-probability  conditional-expectation  conditioning  sigma-algebra 

Eu sou novo na otimização. Continuo vendo equações que têm um sobrescrito 2 e um subscrito 2 no lado direito de uma norma. Por exemplo, aqui está a equação dos mínimos quadrados min||Ax−b||22||Ax−b||22 ||Ax-b||^2_2 Acho que entendo o sobrescrito 2: significa elevar o valor da norma. Mas qual é o …

20 regression  optimization  notation 

Embora esses dois termos onipresentes sejam freqüentemente usados ​​como sinônimos, às vezes parece haver uma distinção. Existe realmente uma diferença, ou eles são exatamente sinônimos?

20 residuals  error  terminology 

Estou confuso sobre como particionar os dados para validação cruzada k-fold do aprendizado de conjuntos. Supondo que eu tenha uma estrutura de aprendizado de conjuntos para classificação. Minha primeira camada contém os modelos de classificação, por exemplo, svm, árvores de decisão. Minha segunda camada contém um modelo de votação, que …

20 classification  cross-validation  ensemble 

Estou lutando para entender a derivação do erro de previsão esperado abaixo (ESL), especialmente na derivação de 2.11 e 2.12 (condicionamento, o passo em direção ao mínimo pontual). Quaisquer ponteiros ou links muito apreciados. Abaixo, estou relatando o trecho da ESL pág. 18. As duas primeiras equações são, em ordem, …

20 regression  prediction  error 

"Supervisão à distância" é um esquema de aprendizado no qual um classificador é aprendido, devido a um conjunto de treinamento pouco rotulado (os dados de treinamento são rotulados automaticamente com base em heurísticas / regras). Penso que tanto a aprendizagem supervisionada quanto a semi-supervisionada podem incluir essa "supervisão distante" se …

20 machine-learning  data-mining  dataset  references  unsupervised-learning 

Estou trabalhando na classificação do estágio do sono. Li alguns artigos de pesquisa sobre esse tópico, muitos deles usavam SVM ou método de conjunto. É uma boa idéia usar a rede neural convolucional para classificar o sinal de EEG unidimensional? Eu sou novo nesse tipo de trabalho. Perdoe-me se eu …

20 neural-networks  svm  conv-neural-network  signal-processing 

Estou lendo sobre duas técnicas populares de interpretabilidade do modelo post hoc: LIME e SHAP Estou tendo problemas para entender a principal diferença nessas duas técnicas. Para citar Scott Lundberg , o cérebro por trás do SHAP: Os valores SHAP vêm com as vantagens de estimativa local da caixa preta …

20 model-interpretation  shapley-value  lime 

Existem diferentes tipos de algoritmos MCMC: Metropolis-Hastings Gibbs Amostragem de importância / rejeição (relacionada). Por que alguém usaria a amostragem de Gibbs em vez de Metropolis-Hastings? Suspeito que há casos em que a inferência é mais tratável com a amostragem de Gibbs do que com Metropolis-Hastings, mas não estou claro …

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

Eu estava lendo o documento de normalização em lote (BN) (1) e não entendia a necessidade de usar médias móveis para rastrear a precisão do modelo e, mesmo se eu aceitasse que era a coisa certa a fazer, não entendo o que eles estão fazendo exatamente. Para meu entendimento (o …

20 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Eu tenho dificuldade em entender o uso da regressão logística em um artigo. O artigo disponível aqui utiliza regressão logística para prever a probabilidade de complicações durante a cirurgia de catarata. O que me confunde é que o artigo apresenta um modelo que atribui odds ratio de 1 à linha …

20 logistic  odds-ratio 

Estou pensando, implementando e usando o paradigma Extreme Learning Machine (ELM) há mais de um ano, e quanto mais tempo durar, mais duvido que seja realmente uma coisa boa. Minha opinião, no entanto, parece estar em contraste com a comunidade científica, onde - ao usar citações e novas publicações como …

20 regression 

Gostaria de saber se existem / algumas vantagens em usar amostragem estratificada em vez de aleatória, ao dividir o conjunto de dados original em conjunto de treinamento e teste para classificação. Além disso, a amostragem estratificada introduz mais viés no classificador do que a amostragem aleatória? O aplicativo, para o …

20 classification  cross-validation  random-forest  train  stratification 

Minha configuração é a seguinte: Estou seguindo as diretrizes em "Modelagem Preditiva Aplicada". Assim, filtramos os recursos correlatos e terminamos com o seguinte: 4900 pontos de dados no conjunto de treinamento e 1600 pontos de dados no conjunto de teste. Eu tenho 26 recursos e o alvo é uma variável …

20 machine-learning  boosting  overfitting 

Para uma tarefa, fui solicitado a fornecer uma prova de que k-means converge em um número finito de etapas. Isto é o que eu escrevi: A seguir, CCC é uma coleção de todos os centros de cluster. Definir uma “energia” função E(C)=∑xmini=1k∥x−ci∥2E(C)=∑xmini=1k‖x−ci‖2E(C)=\sum_{\mathbf{x}}\min_{i=1}^{k}\left\Vert \mathbf{x}-\mathbf{c}_{i}\right\Vert ^{2} A função de energia é não-negativo. …

20 mathematical-statistics  k-means