Estatísticas e Big Data

Estou impressionado com um problema aparentemente fácil, mas não encontro uma solução adequada há várias semanas. Tenho muitos dados de pesquisas / pesquisas (dezenas de milhares de participantes, digamos 50 mil por conjunto de dados), provenientes de algo que, espero, é chamado de pesquisa complexamente projetada, com pesos, estratificação, roteamento …

14 machine-learning  survey-weights  survey-sampling 

Em uma rede neural recorrente, você costuma encaminhar a propagação por várias etapas de tempo, "desenrolar" a rede e depois propagá-la pela sequência de entradas. Por que você não atualiza apenas os pesos após cada etapa individual da sequência? (o equivalente a usar um comprimento de truncamento de 1, para …

14 time-series  neural-networks  backpropagation  rnn 

Suponha que você defina: X∼Beta(α,β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼Φ−1(X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) onde é o inverso do CDF da distribuição normal padrão .Φ−1Φ−1\Phi^{-1} Minha pergunta é: Existe uma distribuição simples que segue ou que pode se aproximar de ? YYYYYY Y ct p ct = 1 ; β = 1 X YEstou perguntando, porque tenho …

14 r  normal-distribution  mathematical-statistics  beta-distribution 

Li este artigo sobre o caso de Palantir, em que o Departamento de Trabalho os está acusando de discriminação contra asiáticos. Alguém sabe de onde eles tiraram essas estimativas de probabilidade? Não estou recebendo 1/741 no item (a). (a) Para a posição de engenheiro de controle de qualidade, de um …

14 probability  p-value  contingency-tables  legal 

Os 25% principais são o quartil superior. Os 10% principais são o decil superior. O 1% superior é o percentil principal. Existe um equivalente para os 0,5% superiores, ou seja, 1 em 200?

14 terminology  quantiles 

Fiz um curso de aprendizado de máquina na minha faculdade. Em um dos testes, essa pergunta foi feita. Modelo 1: y=θx+ϵy=θx+ϵ y = \theta x + \epsilon Modelo 2: y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon Qual dos modelos acima encaixaria melhor nos dados? (suponha que os …

14 regression  machine-learning  self-study  modeling  model 

Eu pensei que o conceito de conjunto típico fosse bastante intuitivo: uma sequência de comprimento pertenceria ao conjunto típico se a probabilidade de saída da sequência fosse alta. Portanto, qualquer sequência que provavelmente estivesse em . (Estou evitando a definição formal relacionada à entropia porque estou tentando entendê-la qualitativamente.)A ( …

14 entropy  intuition  information-theory 

A estrutura desta questão é a seguinte: a princípio, forneço o conceito de aprendizagem por conjuntos , além de fornecer uma lista de tarefas de reconhecimento de padrões , depois apresento exemplos de algoritmos de aprendizagem por conjuntos e, finalmente, apresento minha pergunta. Aqueles que não precisam de todas as …

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr 

Sou iniciante tentando montar meu primeiro projeto. Eu tinha um projeto de classificação de músicas em mente, mas como eu seria rotulado manualmente, eu só conseguia reunir razoavelmente cerca de 1000 músicas ou 60 horas de música. Eu classificaria com várias aulas, então é possível que uma aula tenha entre …

14 neural-networks 

Provavelmente não tenho uma compreensão clara do paradoxo dos Simpson . Informalmente, sei que a média da resposta Y1, agrupada em todos os níveis possíveis do fator A, pode ser maior que a média da resposta Y2 em todos os níveis de A, mesmo que a média de Y1 para …

14 mathematical-statistics  simpsons-paradox 

Eu tenho alguns dados interessantes sobre os artistas musicais mais populares transmitidos, divididos por local em cerca de 200 distritos do Congresso. Quero ver se é possível pesquisar uma pessoa sobre suas preferências musicais e determinar se ela "escuta como um democrata" ou "escuta como um republicano". (Naturalmente, isso é …

14 correlation  prediction  pooling  weighted-data 

É verdade que é um estimador imparcial para ? Ou seja,RX,YRX,YR_{X,Y}ρX,YρX,Y\rho_{X,Y}E[RX,Y]=ρX,Y?E[RX,Y]=ρX,Y?\mathbf{E}\left[R_{X,Y}\right]=\rho_{X,Y}? Caso contrário, o que é um estimador imparcial para ? (Talvez exista um estimador imparcial padrão? Além disso, é análogo à variação da amostra imparcial, onde simplesmente fazemos o simples ajuste da multiplicação da variação da amostra enviesada por …

14 correlation 

Alguém pode explicar a principal idéia por trás dos métodos Hamiltonianos de Monte Carlo e em quais casos eles produzirão melhores resultados do que os métodos de Markov Chain Monte Carlo?

14 bayesian  mcmc  hmc 

Em certos casos, o Jeffreys anterior para um modelo multidimensional completo é geralmente considerado inadequado, por exemplo: (onde , com e desconhecido), onde o anterior a seguir é preferido (para o Jeffreys anterior completo ): que é o Jeffreys obtido anteriormente ao manter fixo (e da mesma forma para ). …

14 distributions  bayesian  estimation  prior  jeffreys-prior 

Houve estudos em larga escala dos métodos MCMC que comparam o desempenho de vários algoritmos diferentes em um conjunto de densidades de teste? Estou pensando em algo equivalente ao artigo de Rios e Sahinidis (2013), que é uma comparação completa de um grande número de otimizadores de caixa preta sem …

14 machine-learning  bayesian  references  mcmc