Estatísticas e Big Data

Se você observar uma distribuição beta com α = β= 4α=β=4\alpha=\beta=4 ela se parecerá muito com uma distribuição gaussiana . Mas é isso? Como você pode provar se uma distribuição Beta (4,4) é gaussiana ou não?

12 normal-distribution  beta-distribution 

Estou realizando experimentos no conjunto de validação EMNIST usando redes com RMSProp, Adam e SGD. Estou atingindo uma precisão de 87% com SGD (taxa de aprendizado de 0,1) e desistência (prob de desistência de 0,1), bem como regularização de L2 (penalidade 1e-05). Ao testar a mesma configuração exata com o …

12 machine-learning  optimization  sgd  adam 

Se quisermos calcular o efeito causal de em Y no gráfico causal abaixo, podemos usar os teoremas de ajuste da porta traseira e da porta da frente, ou seja, P ( y | do ( X = x ) ) = ∑ u P ( y | x , u …

12 self-study  causality  graph-theory  dag 

Eu estava pensando no significado de família em escala de localização. Meu entendimento é que, para cada membro de uma família de escalas de localização com parâmetros localização , a distribuição de não depende de nenhum parâmetro e é a mesma para todos os pertencentes a essa família.a b Z …

12 probability  distributions  mathematical-statistics  random-variable  moments 

Primeiro de tudo: eu sei, não há um número geral de tamanho de amostra necessário para treinar uma rede neural. Depende de muitos fatores, como complexidade da tarefa, ruído nos dados e assim por diante. E quanto mais amostras de treinamento eu tiver, melhor será minha rede. Mas eu estava …

12 neural-networks  overfitting  underdetermined 

Eu nunca tenho certeza de quando usar a codificação one-hot para variáveis ​​categóricas não ordenadas e quando não usar . Eu o uso sempre que o algoritmo usa uma métrica de distância para calcular a similaridade. Alguém pode dar uma regra geral a respeito de quais tipos de algoritmos exigiriam …

12 machine-learning  categorical-data  categorical-encoding  data-preprocessing 

Para meu entendimento (muito modesto) da inferência variacional, tenta-se aproximar uma distribuição desconhecida encontrando uma distribuição que otimiza o seguinte:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Sempre que investo tempo na compreensão da inferência variacional, continuo seguindo essa fórmula e não consigo deixar de sentir que estou perdendo o …

12 variational-bayes 

Vamos supor que temos um problema de classificação e, inicialmente, queremos obter algumas informações dos dados e fazemos o t-SNE. O resultado do t-SNE separa muito bem as classes. Isso implica que é possível criar um modelo de classificação que também irá separar muito bem as classes (se t-SNE não …

12 classification  tsne 

Se processarmos, digamos, 10 exemplos em um lote, entendo que podemos somar a perda para cada exemplo, mas como a retropropagação funciona em relação à atualização dos pesos para cada exemplo? Por exemplo: Exemplo 1 -> perda = 2 Exemplo 2 -> perda = -2 Isso resulta em uma perda …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Antecedentes: Estou estudando o capítulo 6 do Deep Learning de Ian Goodfellow e Yoshua Bengio e Aaron Courville. Na seção 6.2.2.2 (páginas 182 de 183, que pode ser vista aqui ), é motivado o uso de sigmóide na saída .P(y=1|x)P(y=1|x)P(y=1|x) Para resumir alguns dos materiais que deixe ser um neurónio …

12 neural-networks  deep-learning 

Eu tenho esse enorme conjunto de dados com 2500 variáveis ​​e 142 observações. Eu quero executar uma correlação entre a variável X e o resto das variáveis. Mas para muitas colunas, há entradas ausentes. Tentei fazer isso no R usando o argumento "pairwise-complete" ( use=pairwise.complete.obs) e ele gerou várias correlações. …

12 r  correlation  missing-data  correlation-matrix 

Eu configurei uma pesquisa de grade para um monte de parâmetros. Estou tentando encontrar os melhores parâmetros para uma rede neural de Keras que faz classificação binária. A saída é 1 ou 0. Existem cerca de 200 recursos. Quando fiz uma pesquisa na grade, recebi vários modelos e seus parâmetros. …

12 machine-learning  cross-validation  deep-learning  tensorflow  theano 

Aqui está um exemplo de código keras que o usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

Aqui está um pequeno exemplo: MyDf<-data.frame(x=c(1,2,3,4), y=c(1.2, .7, -.5, -3)) Agora com o base::lm: > lm(y~x, data=MyDf) %>% summary Call: lm(formula = y ~ x, data = MyDf) Residuals: 1 2 3 4 -0.47 0.41 0.59 -0.53 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 3.0500 0.8738 3.491 0.0732 . …

12 r  regression  p-value  linear-model 

Recentemente, fiz uma pergunta buscando uma interpretação / intuição matemática por trás da equação elementar relacionando média e variância amostral: , geométrica ou não.E[X2]=Var(X)+(E[X])2E[X2]=Var(X)+(E[X])2 E[X^2] = Var(X) +(E[X])^2 Mas agora estou curioso sobre a equação de compensação de viés e variância superficialmente semelhante. MSE(θ^)=E[(θ^−θ)2]==E[(θ^−E[θ^])2]+(E[θ^]−θ)2Var(θ^)+Bias(θ^,θ)2MSE(θ^)=E[(θ^−θ)2]=E[(θ^−E[θ^])2]+(E[θ^]−θ)2=Var(θ^)+Bias(θ^,θ)2 \begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] …

12 variance  bias