Estatísticas e Big Data

Gostaria de verificar Rse meus dados se encaixam nas distribuições log-normal ou Pareto. Como eu pude fazer isso? Talvez ks.testpudesse me ajudar a fazer isso, mas como eu poderia obter os parâmetros αα\alpha e kkk para a distribuição de Pareto para meus dados?

11 r  regression  distributions  lognormal  pareto-distribution 

Atualmente, estou trabalhando em um software de reconhecimento de rosto que usa redes neurais de convolução para reconhecer rostos. Com base nas minhas leituras, concluí que uma rede neural convolucional compartilhou pesos, para economizar tempo durante o treinamento. Mas como adaptar a retropropagação para que possa ser usada em uma …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

Nesse papel: Variáveis ​​ocultas: alguns exemplos Brian L. Joiner The American Statistician Vol. 35, nº 4, novembro de 1981 227-233 Brian Joiner afirma que "a randomização não é uma panacéia". Isso é contrário a declarações comuns como a abaixo: Um experimento bem projetado inclui recursos de design que permitem que …

11 confounding  random-allocation 

Digamos que eu tenha um conjunto de instâncias com rótulos de classe associados. Não importa como essas instâncias foram rotuladas, mas quão certa é a associação de classe. Cada instância pertence a exatamente uma classe. Digamos que eu possa quantificar a certeza de cada associação de classe com um atributo …

11 classification  weka  uncertainty 

Estou executando uma simulação rápida para comparar diferentes métodos de cluster e atualmente enfrenta um problema ao tentar avaliar as soluções de cluster. Conheço várias métricas de validação (muitas encontradas em cluster.stats () em R), mas presumo que sejam melhor utilizadas se o número estimado de clusters for igual ao …

11 clustering  kullback-leibler  gaussian-mixture 

Estou tentando traçar o limite de decisão de um algoritmo perceptron e estou realmente confuso sobre algumas coisas. Minhas instâncias de entrada estão no formato , basicamente uma instância de entrada 2D ( x 1 e x 2 ) e um valor alvo de classe binária ( y ) [1 …

11 machine-learning  neural-networks  python  decision-theory  perceptron 

O método com o qual estou familiarizado para construir uma floresta aleatória é o seguinte: (de http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Para construir uma árvore na floresta, nós: Inicialize uma amostra do tamanho N, em que N é o tamanho do nosso conjunto de treinamento. Use esta amostra com bootstrap como o conjunto …

11 machine-learning  classification  random-forest 

Da Wikipedia Existem duas suposições comuns feitas sobre o efeito específico individual, a suposição de efeitos aleatórios e a suposição de efeitos fixos. A suposição de efeitos aleatórios (feita em um modelo de efeitos aleatórios) é que os efeitos específicos individuais não estão correlacionados com as variáveis ​​independentes. A suposição …

11 random-effects-model  fixed-effects-model 

Não sei como são chamadas essas tramas e, portanto, dei um título estúpido a essa pergunta. Digamos que eu tenha um conjunto de dados ordenado da seguinte maneira 4253 4262 4270 4383 4394 4476 4635 ... Cada número corresponde à quantidade de postagens que um determinado usuário contribuiu para um …

11 r  distributions  data-visualization 

De acordo com o teorema de Bayes, . Mas, de acordo com meu texto econométrico, ele diz que . Por que é assim? Não entendo por que é ignorado.P ( θ | y ) ∝ P ( y | θ ) P ( θ ) P ( θ ) P …

11 bayesian  conditional-probability  likelihood 

Como você pode provar que as equações normais: têm uma ou mais soluções sem a suposição de que X é invertível?(XTX)β=XTY(XTX)β=XTY(X^TX)\beta = X^TY Meu único palpite é que isso tem algo a ver com inverso generalizado, mas estou totalmente perdido.

11 regression  proof 

Alguém pode ajudar a dar uma explicação conceitual de como as previsões são feitas para novos dados ao usar suavizações / splines para um modelo preditivo? Por exemplo, dado um modelo criado usando gamboosto mboostpacote em R, com p-splines, como são feitas as previsões para novos dados? O que é …

11 regression  machine-learning  predictive-models  splines 

Versão curta: existe uma introdução aos escritos de Ronald Fisher (papéis e livros) sobre estatística que é voltada para aqueles com pouco ou nenhum conhecimento de estatística? Estou pensando em algo como um "leitor Fisher anotado" destinado a não estatísticos. Explico a motivação para esta pergunta abaixo, mas lembre-se de …

11 references  history  fiducial  ronald-fisher 

Suponha que eu receba dois grupos de medidas de massa (em mg), que são referidos como y1 e y2. Quero fazer um teste para determinar se as duas amostras são coletadas de populações com diferentes meios. Algo assim, por exemplo (em R): y1 <- c(10.5,2.9,2.0,4.4,2.8,5.9,4.2,2.7,4.7,6.6) y2 <- c(3.8,4.3,2.8,5.0,9.3,6.0,7.6,3.8,6.8,7.9) t.test(y1,y2) Recebo …

11 hypothesis-testing 

Estou procurando recomendações de livros sobre pontuação de crédito. Estou interessado em todos os aspectos desse problema, mas principalmente em: 1) Bons recursos. Como construí-los? Quais provaram ser bons? 2) Redes neurais. Sua aplicação ao problema de pontuação de crédito. 3) Escolhi redes neurais, mas também estou interessado em outros …

11 references  finance  credit-scoring