Estatísticas e Big Data

Os exemplos desta página mostram que a regressão simples é marcadamente afetada por valores discrepantes e isso pode ser superado por técnicas de regressão robusta: http://www.alastairsanderson.com/R/tutorials/robust-regression-in-R/ . Acredito que lmrob e ltsReg são outras técnicas robustas de regressão. Por que não se deve fazer uma regressão robusta (como rlm ou …

12 regression  multiple-regression  robust 

Na série de palestras Learning from Data , o professor menciona que a dimensão VC mede a complexidade do modelo em quantos pontos um determinado modelo pode quebrar. Portanto, isso funciona perfeitamente bem para modelos de classificação nos quais poderíamos dizer com N pontos se o classificador puder quebrar k …

12 regression  machine-learning  vc-dimension 

Digamos que temos um vetor aleatório , extraído de uma distribuição com função de densidade de probabilidade . Se o transformarmos linearmente por uma matriz classificação completa para obter , a densidade de será dada porX⃗ ∈RnX→∈Rn\vec{X} \in \mathbb{R}^nfX⃗ (x⃗ )fX→(x→)f_\vec{X}(\vec{x})n×nn×nn \times nAAAY⃗ =AX⃗ Y→=AX→\vec{Y} = A\vec{X}Y⃗ Y→\vec{Y}fY⃗ (y⃗ )=1|detA|fX⃗ …

12 references  random-variable  pdf  linear 

Para evitar o excesso de ajuste nas pessoas, adicione um termo de regularização (proporcional à soma quadrada dos parâmetros do modelo) com um parâmetro de regularização à função de custo da regressão linear. Esse parâmetro o mesmo que um multiplicador de intervalo? Então, a regularização é igual ao método do …

12 regression  optimization  regularization 

Seja ~ e ~ sejam duas variáveis ​​aleatórias independentes com as distribuições dadas. Qual é a distribuição de ?XXXU(0,2)U(0,2)U(0,2)YYYU(−10,10)U(−10,10)U(-10,10)V=XYV=XYV=XY Eu tentei convolução, sabendo que h(v)=∫y=+∞y=−∞1yfY(y)fX(vy)dyh(v)=∫y=−∞y=+∞1yfY(y)fX(vy)dyh(v) = \int_{y=-\infty}^{y=+\infty}\frac{1}{y}f_Y(y) f_X\left (\frac{v}{y} \right ) dy Também sabemos que , fY(y)=120fY(y)=120f_Y(y) = \frac{1}{20} h(v)=120∫y=10y=−101y⋅12dyh(v)=120∫y=−10y=101y⋅12dyh(v)= \frac{1}{20} \int_{y=-10}^{y=10} \frac{1}{y}\cdot \frac{1}{2}dy h(v)=140∫y=10y=−101ydyh(v)=140∫y=−10y=101ydyh(v)=\frac{1}{40}\int_{y=-10}^{y=10} \frac{1}{y}dy Algo me diz que …

12 distributions  random-variable 

Desejo criar dados de sobrevivência de brinquedos (tempo até o evento) que sejam corretamente censurados e sigam alguma distribuição com riscos proporcionais e riscos constantes da linha de base. Criei os dados da seguinte maneira, mas não consigo obter taxas de risco estimadas próximas dos valores reais depois de ajustar …

12 survival  cox-model  monte-carlo 

Digamos que eu queira gerar um conjunto de números aleatórios a partir do intervalo (a, b). A sequência gerada também deve ter a propriedade que está classificada. Eu posso pensar em duas maneiras de conseguir isso. Seja no comprimento da sequência a ser gerada. 1º Algoritmo: Let `offset = floor((b …

12 random-generation 

Alguém pode explicar a diferença entre um modelo misto e uma análise de regressão linear? (Eu tenho um conhecimento muito limitado de estatística.)

12 regression  mixed-model 

Quais são as maneiras de escolher qual kernel resultaria em boa separação de dados na saída final de dados pelo kernel PCA (análise de componentes principais) e quais são as maneiras de otimizar os parâmetros do kernel? Os termos de Layman, se possível, seriam muito apreciados, e links para artigos …

12 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning 

Estou procurando um livro didático / notas de aula no aprendizado por reforço. Gosto da "Introdução à aprendizagem estatística" , mas infelizmente elas não abordam esse tópico. Eu sei que um livro de Sutton e Barto é uma referência padrão, e talvez o NDP também seja bom, mas eles são …

12 machine-learning  references 

Nesta pergunta - Existe um método para construir árvores de decisão que leve em consideração preditores estruturados / hierárquicos / multiníveis? - eles mencionam um método de dados em painel para árvores. Existem métodos de dados de painel específicos para dar suporte a máquinas vetoriais e redes neurais? Se sim, …

12 r  machine-learning  svm  panel-data  cart 

Em relação ao valor-p da análise de regressão linear múltipla, a introdução do site do Minitab é mostrada abaixo. O valor p para cada termo testa a hipótese nula de que o coeficiente é igual a zero (sem efeito). Um valor p baixo (<0,05) indica que você pode rejeitar a …

12 multiple-regression  p-value 

Estou procurando calcular analiticamente uma distribuição de probabilidade de pontos de amostragem de uma função oscilante quando há algum erro de medição. Eu já calculei a distribuição de probabilidade para a parte "sem ruído" (vou colocar isso no final), mas não consigo descobrir como incluir "ruído". Estimativa numérica Para ser …

12 distributions  normal-distribution  noise 

Eu quero comparar dois algoritmos de classificação. Nesses algoritmos, o cliente especifica algumas condições em sua pesquisa. De acordo com os requisitos do cliente, esse algoritmo deve atribuir uma pontuação para cada item da base de dados e recuperar itens com a pontuação mais alta. Eu li diferentes tópicos relacionados …

12 machine-learning  precision-recall  average-precision 

Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal? Aqui está a minha pergunta: Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta …

12 lasso  regularization  ridge-regression