Estatísticas e Big Data

Tenho a seguinte configuração para um projeto de pesquisa de Finanças / Aprendizado de Máquina na minha universidade: estou aplicando uma Rede Neural (Profunda) (MLP) com a seguinte estrutura em Keras / Theano para distinguir estoques com desempenho superior (etiqueta 1) dos estoques com desempenho insatisfatório ( etiqueta 0). Em …

8 machine-learning  neural-networks  deep-learning  regularization  dropout 

Alguém pode fornecer uma visão intuitiva sobre por que é melhor ter beta menor? Para o LASSO, eu posso entender isso, há um componente de seleção de recurso aqui. Menos recursos tornam o modelo mais simples e, portanto, menos provável de ter um ajuste excessivo. No entanto, para cume, todos …

8 regression  lasso  ridge-regression  shrinkage 

Se minha probabilidade tem a forma de uma distribuição beta e eu quero usar o prior de Jeffreys para seus parâmetros, qual é a forma do prior? Para algumas distribuições, é bastante simples calcular. por exemplo, no caso binomial, a expectativa da segunda derivada fornece claramente . Mas se a …

8 beta-distribution  jeffreys-prior 

Uma propriedade fundamental da regressão de efeitos aleatórios é que as estimativas de interceptação aleatória são "reduzidas" em direção à média geral da resposta em função da variação relativa de cada estimativa. ρJ=τ2/(τ2+σ2/nj).você^j= ρjy¯j+ ( 1 - ρj) y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y} ondeρj= τ2/ ( τ2+ σ2/ nj) …

8 mixed-model  regularization  shrinkage 

Apenas fazendo alguns jogos mentais passando por minhas notas de estatísticas ... Eu vi ACFs com valores negativos nos lags 1 e 2 - talvez eu esteja com a mente em branco aqui, mas um AC negativo alto no lag 1 não implica uma série como (-1,1, -1,1, ...) e, …

8 time-series  correlation  autocorrelation 

Sou iniciante no aprendizado de máquina (terminei o curso de Ng), estou usando o scikit-learn em python. Quero encontrar a melhor maneira de detectar anomalias em nosso sistema. Temos eventos em andamento que ocorrem em um cronograma (a cada poucos minutos / hora) e quero detectar quando algo anormal acontece. …

8 time-series  python  scikit-learn  anomaly-detection 

Podemos generalizar todos os métodos de conjunto usando votação? Os métodos de reforço também usam o voto para colocar os alunos fracos no modelo final? Minha compreensão da técnica: Impulsionar: adiciona continuamente um aluno fraco para aumentar os pontos de dados que não foram classificados corretamente. Técnica do conjunto: usa …

8 machine-learning  boosting  ensemble  gbm  voting-system 

Suponha-se que Y1, ... , Yn + 1Y1,…,Yn+1Y_1,\dots,Y_{n+1} é uma amostra aleatória de uma função de distribuição contínua FFF . Deixe- X∼ U n i fo r m {1,...,n}X∼Uniform{1,…,n}X\sim\mathrm{Uniform}\{1,\dots,n\} ser independente do YEuYiY_i 's. Como posso calcular E[ ∑Xi = 1Eu{ YEu≤ Yn + 1}]E[∑i=1XI{Yi≤Yn+1}]\mathrm{E}\!\left[\sum _{i=1}^X I_{\{Y_i\leq Y_{n+1}\}}\right] ?

8 probability  self-study 

Inspirado por essa pergunta , tentei obter uma expressão para o terceiro momento central de uma soma de um número aleatório de variáveis ​​aleatórias iid. Minha pergunta é se está correto e, se não, o que está errado ou que suposições adicionais podem estar faltando. Especificamente, deixe: S=∑1NXi,S=∑1NXi,S=\sum_1^N{X_i}, que é …

8 random-variable  moments 

Eu tenho um conjunto de dados unidimensional e uso a boxplotfunção para criar um gráfico de caixa. Então eu posso ver que tenho alguns outliers. Os outliers contam quando os quantis estão sendo determinados? Existe uma maneira certa / errada ou ambas as formas estão corretas, desde que tenhamos certeza …

8 r  data-visualization  boxplot 

Embora os méritos da seleção de modelos por etapas tenham sido discutidos anteriormente, não está claro para mim o que exatamente é " seleção de modelos por etapas " ou " regressão por etapas ". Eu pensei que tinha entendido, mas não tenho mais tanta certeza. Meu entendimento é que …

8 multiple-regression  model-selection  aic  stepwise-regression 

Estive pesquisando perguntas sobre a codificação de recursos categóricos, mas não encontrei nenhuma que discutisse meu problema. Desculpas se eu perdi. Digamos que temos um conjunto de dados com variáveis binárias e nominais de importância aproximadamente igual cada. A maioria dos classificadores não pode lidar com tipos categóricos diretamente, portanto …

8 classification  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Qual é a chance de um ano bissexto ter 53 domingos? Conforme meu julgamento, será 2/7? Como 366 dias em um ano bissexto significa 52 semanas e mais 2 dias, portanto, a partir dos dois dias extras, a probabilidade de domingo é 2/7. PS: Essa foi uma pergunta que encontrei …

8 probability  self-study 

Trabalho como analista de dados, principalmente em SQL, fornecendo dados operacionais para clientes internos. Eu raramente faço análises estatísticas. Recentemente, clientes internos me procuraram com dados de projetos mal projetados (sem grupo de controle, sem metodologia planejada etc.) e me pediram para fazer uma análise de dados de seus resultados …

8 multivariate-analysis  assumptions  accuracy 

Conduzi a Correspondência de Pontuação de Prospensidade (em R, usando o pacote R "Matchit"). Eu usei o método correspondente "vizinho mais próximo". Após a comparação, comparei o tratamento e o grupo de controle em termos da variável de resultado. Para esta comparação, usei o teste t. Descobri que, após cada …

8 k-nearest-neighbour  matching  propensity-scores