Estatísticas e Big Data

Eu tenho duas regressões do mesmo Y e X de três níveis. No geral n = 15, com n = 5 em cada grupo ou nível de X. A primeira regressão trata o X como categórico, atribuindo variáveis ​​indicadoras aos níveis 2 e 3 com o nível um sendo a …

11 regression  anova 

O título diz tudo. Entendo que os mínimos quadrados e a máxima verossimilhança fornecerão o mesmo resultado para os coeficientes de regressão se os erros do modelo forem normalmente distribuídos. Mas, o que acontece se os erros não forem normalmente distribuídos? Por que os dois métodos não são mais equivalentes?

11 regression  normal-distribution  maximum-likelihood  least-squares  error 

Até agora, vi o ANOVA usado de duas maneiras: Primeiro , no meu texto de estatística introdutória, a ANOVA foi introduzida como uma maneira de comparar médias de três ou mais grupos, como uma melhoria em comparação aos pares, a fim de determinar se um dos meios tem uma diferença …

11 hypothesis-testing  anova  model-comparison  f-test  nested-models 

Quero melhorar meu entendimento das redes neurais e seus benefícios em comparação com outros algoritmos de aprendizado de máquina. Meu entendimento é o seguinte e minha pergunta é: Você pode corrigir e complementar minha compreensão, por favor? :) Meu entendimento: (1) Redes neurais artificiais = Uma função que prediz valores …

11 regression  machine-learning 

Aqui está algo que eu li no livro de Ian Goodfellow, Deep Learning . No contexto de redes neurais ", a penalidade da norma de parâmetro L2 é comumente conhecida como decaimento de peso. Essa estratégia de regularização aproxima os pesos da origem [...]. Em geral, podemos regularizar os parâmetros …

11 machine-learning  neural-networks  deep-learning  regularization 

Ao escolher o parâmetro de regularização lambda em Ridge ou Lasso, o método recomendado é tentar diferentes valores de lambda, medir o erro no conjunto de validação e finalmente escolher o valor de lambda que retorna o erro mais baixo. Não é óbvio para mim se a função f (lambda) …

11 cross-validation  error  regularization  validation  optimization 

Estou usando o filtro Kalman de uma maneira muito padrão. O sistema é representado pela equação de estado e a equação de observação .xt+1=Fxt+vt+1xt+1=Fxt+vt+1x_{t+1}=Fx_{t}+v_{t+1}yt=Hxt+Azt+wtyt=Hxt+Azt+wty_{t}=Hx_{t}+Az_{t}+w_{t} Os livros didáticos ensinam que, depois de aplicar o filtro Kalman e obter as "previsões um passo à frente" (ou "estimativa filtrada"), devemos usá-los para calcular …

11 likelihood  kalman-filter 

Se eu tenho duas variáveis ​​aleatórias independentes X e Y, qual é a correlação entre X e o produto XY? Se isso for desconhecido, eu estaria interessado em saber pelo menos o que acontece no caso específico de X e Y serem normais com média zero, se isso for mais …

11 correlation 

O teste de hipóteses é semelhante a um problema de classificação. Digamos, temos 2 rótulos possíveis para uma observação (assunto) - Culpado vs. Não culpado. Seja Não-Culpado a hipótese nula. Se visualizarmos o problema do ponto de vista da Classificação, treinaremos um Classificador que preverá a probabilidade do sujeito pertencer …

11 probability  hypothesis-testing  classification  p-value 

Eu sei como gerar uma seqüência ±1±1\pm 1 com média 000 . Por exemplo, no Matlab, se eu quiser gerar uma sequência ±1±1\pm 1 de comprimento 100001000010000 , é: 2*(rand(1, 10000, 1)<=.5)-1 No entanto, como gerar uma sequência ±1±1\pm 1 com média de 0.050.050.05 , ou seja, com 111 sendo …

11 distributions  sampling  random-generation 

Eu sou um estudante de física estudando aprendizado de máquina / ciência de dados, por isso não pretendo que esta pergunta inicie conflitos :) No entanto, uma grande parte de qualquer programa de graduação em física é fazer laboratórios / experimentos, o que significa muitos dados processamento e análise estatística. …

11 regression  machine-learning  cross-validation  dataset  experiment-design 

Não tenho uma definição formal de equivalência de escala, mas eis o que a Introdução à aprendizagem estatística diz sobre isso na p. 217: Os coeficientes padrão de mínimos quadrados ... são equivalentes à escala : multiplicar por uma constante simplesmente leva a uma escala das estimativas do coeficiente de …

11 least-squares  linear-model 

Poderia a informação mútua sobre a entropia conjunta: 0 ≤ I( X, Y)H( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 ser definido como: "A probabilidade de transmitir uma informação de X para Y"? Sinto muito por ser tão ingênuo, mas nunca estudei teoria da informação e estou apenas tentando …

11 information-theory  mutual-information 

Pergunta em uma frase: alguém sabe como determinar bons pesos de classe para uma floresta aleatória? Explicação: Estou brincando com conjuntos de dados desequilibrados. Eu quero usar o Rpacote randomForestpara treinar um modelo em um conjunto de dados muito assimétrico, com apenas alguns exemplos positivos e muitos negativos. Eu sei, …

11 r  random-forest 

Estou lendo os slides de Steven Scott sobre o pacote BSTS R (você pode encontrá-los aqui: slides ). Em algum momento, ao falar sobre a inclusão de muitos regressores no modelo estrutural de séries temporais, ele introduz os preceitos de pico e laje dos coeficientes de regressão e diz que …

11 r  bayesian  feature-selection  penalized  bsts