Estatísticas e Big Data

Suponha que tenhamos a matriz de dados , que é by- , e o vetor de rótulo , que é -by-one. Aqui, cada linha da matriz é uma observação e cada coluna corresponde a uma dimensão / variável. (suponha que ) n p S n n > pXX\mathbf{X}nnnpppYYYnnnn > pn>pn>p …

9 regression  multiple-regression  terminology  geometry  biplot 

Como posso encontrar uma expressão analítica no seguinte problema?D ( n , l , L )D(n,l,L)D(n,l,L) Eu aleatoriamente solto "barras" de comprimento l em um intervalo [ 0 , L ] . As "barras" podem se sobrepor. Eu gostaria de encontrar o comprimento total médio D do intervalo [ 0 …

9 probability  distributions 

De acordo com "Efficient Backprop" de LeCun et al (1998) , é uma boa prática normalizar todas as entradas para que elas fiquem centralizadas em torno de 0 e fiquem dentro da faixa da segunda derivada máxima. Então, por exemplo, usaríamos [-0,5,0,5] para a função "Tanh". Isso é para ajudar …

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

Embora eu goste de pensar que tenho uma boa compreensão do conceito de informações prévias na análise estatística e na tomada de decisões bayesianas, muitas vezes tenho problemas para entender minha aplicação. Tenho em mente algumas situações que exemplificam minhas lutas e sinto que elas não são abordadas adequadamente nos …

9 bayesian  prior  rule-of-thumb  elicitation 

Espero que alguém possa ajudar com o que considero uma pergunta relativamente simples, e acho que sei a resposta, mas sem confirmação ela se tornou algo que eu simplesmente não posso ter certeza. Eu tenho alguns dados de contagem como uma variável de resposta e quero medir como essa variável …

9 r  binomial  proportion  glmm  lme4-nlme 

Eu tenho a seguinte distribuição discreta, onde são constantes conhecidas:α,βα,β\alpha,\beta p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,…p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots Quais são algumas das abordagens para obter amostras eficientes dessa distribuição?

9 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

Os valores típicos da AIC que eu já vi para modelos logísticos são de milhares, pelo menos centenas. Por exemplo, em http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/, o AIC é 727.39 Embora sempre se diga que o AIC deve ser usado apenas para comparar modelos, eu queria entender o que significa um valor específico do …

9 regression  model-selection  aic  accuracy 

Tenho lutado bastante para reconciliar meu entendimento intuitivo das distribuições de probabilidade com as propriedades estranhas que quase todas as topologias nas distribuições de probabilidade possuem. Por exemplo, considere uma variável aleatória mista : escolha uma Gaussiana centrada em 0 com variação 1 e com probabilidade 1XnXnX_n , adicionenao resultado. …

9 mathematical-statistics  convergence  central-limit-theorem  topologies 

Assuma a seguinte sequência dimensional 1: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... As cartas A, B, C, ..aqui representam eventos "comuns". Os símbolos #, $, %, ...aqui representam eventos 'especiais' O espaçamento temporal entre todos os eventos não é uniforme …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining 

Fico sempre um pouco surpreso ao ver anúncios psicológicos para participar de estudos experimentais. Com certeza, as pessoas que respondem a esses anúncios não são amostradas aleatoriamente e, portanto, são uma população auto-selecionada. Como é sabido que a randomização resolve o problema de auto-seleção, fiquei pensando se a randomização de …

9 sampling  psychology  random-allocation 

Depois de ler muitos artigos de aprendizagem profunda, uma espécie de sentimento grosseiro é que existem muitos truques no treinamento da rede para obter o desempenho melhor que o normal. Do ponto de vista das aplicações do setor, é muito difícil desenvolver esse tipo de truque, exceto aqueles grupos de …

9 machine-learning  deep-learning  deep-belief-networks 

Eu quero aprender ANOVA. Antes de começar a aprender como o algoritmo funciona (que cálculos precisam ser feitos) e por que ele funciona, primeiro gostaria de saber que problema realmente solucionamos com o ANOVA ou qual resposta tentamos responder. Em outras palavras: O que é entrada e o que é …

9 anova 

Suponha que as variáveis ​​aleatórias e sejam independentes e -distribuídas. Mostre que possui um \ distribuição de texto {Exp} (1) .X1,...,XnX1,...,XnX_1, ... , X_nY1,...,YnY1,...,YnY_1, ..., Y_nU(0,a)U(0,a)U(0,a)Zn=nlogmax(Y(n),X(n))min(Y(n),X(n))Zn=nlog⁡max(Y(n),X(n))min(Y(n),X(n))Z_n= n\log\frac{\max(Y_{(n)},X_{(n)})}{\min(Y_{(n)},X_{(n)})}Exp(1)Exp(1)\text{Exp}(1) Comecei esse problema definindo {X1,...,Xn,Y1,...Yn}={Z1,...,Zn}{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}\{X_1,...,X_n,Y_1,...Y_n\} = \{Z_1,...,Z_n\} Em seguida, o max(Yn,Xn)=Z(2n)max(Yn,Xn)=Z(2n)\max(Y_n,X_n)= Z_{(2n)} seria distribuído como (za)2n(za)2n(\frac{z}{a})^{2n} e min(Yn,Xn)=Z(1)min(Yn,Xn)=Z(1)\min(Y_n,X_n)= Z_{(1)} seria distribuído como 1−(1−za)2n1−(1−za)2n1 …

9 self-study  data-transformation  order-statistics 

Antecedentes: Tenho uma amostra que quero modelar com uma distribuição de cauda pesada. Eu tenho alguns valores extremos, tais que a propagação das observações é relativamente grande. Minha idéia era modelar isso com uma distribuição generalizada de Pareto, e foi o que fiz. Agora, o quantil 0,975 dos meus dados …

9 confidence-interval  quantiles  asymptotics  order-statistics 

Assumo uma configuração geral de regressão, ou seja, uma função contínua é escolhida de uma família { h θ } θ para ajustar dados dados ( x i , y i ) ∈ X × R n , i = 1 , … , k ( X pode ser qualquer …

9 regression  machine-learning  multiple-regression