Estatísticas e Big Data

Estou procurando um livro ou recurso on-line que explique diferentes tipos de entropia, como Entropia de Amostra e Entropia de Shannon e suas vantagens e desvantagens. Alguém pode me apontar na direção certa?

18 references  entropy 

Se queremos ver visivelmente a distribuição de dados contínuos, qual dentre o histograma e o pdf deve ser usado? Quais são as diferenças, não em termos de fórmula, entre histograma e pdf?

18 distributions  pdf  histogram 

Estou usando a regressão de cume em dados altamente multicolineares. Usando o OLS, obtenho grandes erros padrão nos coeficientes devido à multicolinearidade. Eu sei que a regressão de cume é uma maneira de lidar com esse problema, mas em todas as implementações de regressão de cume que eu observei, não …

18 standard-error  ridge-regression 

Em tamanhos de janela menores, a n log nclassificação pode funcionar. Existem algoritmos melhores para conseguir isso?

18 algorithms  median 

Alguém sabe por que ano o MCMC se tornou comum (isto é, um método popular para a inferência bayesiana)? Um link para o número de artigos publicados no MCMC (diário) ao longo do tempo seria especialmente útil.

18 bayesian  mcmc  history 

Desejo desenhar números inteiros de 1 a algum específico , rolando um número razoável de dados de seis lados (d6). Uma boa resposta irá explicar por que seu método produz números inteiros uniformes e independentes .NNN Como exemplo ilustrativo, seria útil explicar como uma solução funciona para o caso de …

18 probability  random-generation  uniform  dice 

Para calcular o intervalo de confiança (IC) para média com desvio padrão populacional desconhecido (dp), estimamos o desvio padrão populacional empregando a distribuição t. Notavelmente, que . Porém, como não temos uma estimativa pontual do desvio padrão da população, estimamos através da aproximação queCI=X¯±Z95%σX¯CI=X¯±Z95%σX¯CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X}σX¯=σn√σX¯=σn\sigma_{\bar X} = …

18 normal-distribution  confidence-interval  sampling  t-distribution 

Muitos tutoriais online falam sobre descida de gradiente e quase todos usam um tamanho de etapa fixo (taxa de aprendizado ). Por que não há uso de pesquisa de linha (como pesquisa de linha de retorno ou pesquisa de linha exata)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Eu já vi conclusões semelhantes em muitas discussões, de que à medida que o tamanho de minibatch aumenta, a convergência do SGD fica realmente mais difícil / pior, por exemplo, este artigo e esta resposta . Também ouvi falar de pessoas que usam truques como pequenas taxas de aprendizado ou …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Eu estou lendo o livro: Bispo, Reconhecimento de Padrões e Aprendizado de Máquina (2006) que define a família exponencial como distribuições do formulário (Eq. 2.194): p ( x | η ) = h ( x ) g( η ) exp{ ηTu ( x )}p(x|η)=h(x)g(η)exp⁡{ηTvocê(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol …

18 mathematical-statistics  exponential-family 

Por que o método de Newton para otimização da regressão logística é chamado de mínimos quadrados re-ponderados iterativos? Não me parece claro porque a perda logística e a perda de mínimos quadrados são coisas completamente diferentes.

18 logistic  generalized-linear-model  optimization  irls  fisher-scoring 

Definimos uma época como tendo passado por todas as amostras de treinamento disponíveis, e o tamanho do minilote como o número de amostras sobre as quais calculamos a média para encontrar as atualizações de pesos / desvios necessários para descer o gradiente. Minha pergunta é se devemos extrair sem substituição …

18 machine-learning  neural-networks  optimization  deep-learning 

Existem pesquisas contemporâneas substanciais sobre otimização bayesiana (1) para ajustar os hiperparâmetros de ML. A motivação motriz aqui é que é necessário um número mínimo de pontos de dados para fazer escolhas informadas sobre quais pontos vale a pena tentar (chamadas de função objetivas são caras, portanto, menos é melhor) …

18 hyperparameter  bayesian-optimization  optunity 

Estou usando um modelo de logit. Minha variável dependente é binária. No entanto eu tenho uma variável independente que é categórica e contém as respostas: 1.very good, 2.good, 3.average, 4.poor and 5.very poor. Portanto, é ordinal ("categórico quantitativo"). Não tenho certeza de como lidar com isso no modelo. Eu estou …

18 regression  logistic  ordinal-data  predictor 

Enquanto estudava o aprendizado por reforço, deparei-me com muitas formas da função de recompensa: , e até uma função de recompensa que depende apenas do estado atual. Dito isto, percebi que não é muito fácil 'criar' ou 'definir' uma função de recompensa.R ( s , a )R(s,uma)R(s,a)R ( s , …

18 machine-learning  reinforcement-learning