Estatísticas e Big Data

Um aluno me perguntou hoje: "Como eles sabem quantas pessoas participaram de um grande evento em grupo, por exemplo, o 'Rally para Restaurar a Sanidade' de Stewart / Colbert em Washington DC?" Os meios de comunicação relatam estimativas na casa das dezenas de milhares, mas que métodos são usados ​​para …

25 estimation  sampling 

QUESTÃO: Eu tenho dados binários nas perguntas do exame (correto / incorreto). Algumas pessoas podem ter tido acesso prévio a um subconjunto de perguntas e suas respostas corretas. Não sei quem, quantos ou quais. Se não houve trapaça, suponha que eu modele a probabilidade de uma resposta correta para o …

25 r  clustering  classification  psychometrics 

Fiz essa pergunta durante uma entrevista para uma posição comercial com uma empresa comercial proprietária. Eu gostaria muito de saber a resposta a esta pergunta e a intuição por trás dela. Pergunta da ameba: Uma população de amebas começa com 1. Após 1 período, a ameba pode se dividir em …

25 probability 

A análise exploratória de dados (EDA) geralmente leva a explorar outras "trilhas" que não pertencem necessariamente ao conjunto inicial de hipóteses. Eu enfrento essa situação no caso de estudos com um tamanho de amostra limitado e muitos dados coletados através de diferentes questionários (dados sociodemográficos, escalas neuropsicológicas ou médicas - …

25 multiple-comparisons  epidemiology  small-sample  eda 

Quais métodos de confiabilidade entre avaliadores são mais apropriados para dados ordinais ou com intervalo? Eu acredito que "Probabilidade conjunta de concordância" ou "Kappa" são projetadas para dados nominais. Embora "Pearson" e "Spearman" possam ser usados, eles são usados ​​principalmente para dois avaliadores (embora possam ser usados ​​para mais de …

25 reliability  psychometrics  agreement-statistics  cohens-kappa 

Quais são as boas maneiras de visualizar um conjunto de respostas Likert? Por exemplo, um conjunto de itens perguntando sobre a importância de X para as decisões de alguém sobre A, B, C, D, E, F & G? Existe algo melhor do que gráficos de barras empilhadas? O que deve …

25 data-visualization  scales  likert 

Estou tentando implementar a descida básica do gradiente e estou testando-a com uma função de perda de dobradiça, ou seja, lhinge=max(0,1−y x⋅w)lhinge=max(0,1−y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) . No entanto, estou confuso sobre o gradiente da perda de dobradiça. Estou com a impressão de que é ∂∂wlhinge={−y x0if y x⋅w<1if y …

25 loss-functions 

Comecei a trabalhar nos tutoriais de mineração de dados estatísticos de Andrew Moore (altamente recomendado para quem mais se aventurar nesse campo). Comecei lendo este PDF extremamente interessante, intitulado "Visão geral introdutória dos algoritmos de detecção de anomalias baseados em séries temporais", nos quais Moore acompanha muitas das técnicas usadas …

25 time-series  outliers  signal-processing  wavelet 

Digamos que eu como hambúrgueres toda terça-feira há anos. Você poderia dizer que eu como hambúrgueres 14% das vezes, ou que a probabilidade de eu comer um hambúrguer em uma determinada semana é de 14%. Quais são as principais diferenças entre probabilidades e proporções? Uma probabilidade é uma proporção esperada? …

25 probability  intuition 

Pode ser difícil de encontrar, mas eu gostaria de ler um exemplo bem explicado do ARIMA que usa matemática mínima estende a discussão para além da construção de um modelo, usando-o para prever casos específicos usa gráficos e resultados numéricos para caracterizar o ajuste entre os valores previstos e reais.

25 time-series  arima  intuition 

Ao ler sobre o teste KS de 2 amostras, entendo exatamente o que está fazendo, mas não entendo por que ele funciona . Em outras palavras, eu posso seguir todas as etapas para calcular as funções de distribuição empírica, encontrar a diferença máxima entre os dois para encontrar a estatística …

25 distributions  statistical-significance  nonparametric  kolmogorov-smirnov 

O título é a pergunta. Disseram-me que proporções e inversas de variáveis ​​aleatórias geralmente são problemáticas. O que se quer dizer é que a expectativa geralmente não existe. Existe uma explicação simples e geral disso?

25 probability  distributions  random-variable  expected-value  ratio 

A regressão LASSO reduz os coeficientes para zero, fornecendo, assim, uma seleção de modelo eficaz. Eu acredito que em meus dados existem interações significativas entre covariáveis ​​nominais e contínuas. Não necessariamente, porém, são os 'efeitos principais' do modelo verdadeiro significativos (diferentes de zero). Claro que não sei disso, pois o …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 2 anos . Problema fundamental com aprendizagem profunda e redes neurais em …

25 machine-learning  neural-networks  svm  deep-learning 

Dada uma função de custo convexa, usando o SGD para otimização, teremos um gradiente (vetor) em um determinado ponto durante o processo de otimização. Minha pergunta é, dado o ponto no convexo, o gradiente apenas aponta na direção em que a função aumenta / diminui mais rapidamente, ou o gradiente …

25 neural-networks  optimization  gradient-descent  sgd  convex