Estatísticas e Big Data

Eu tenho uma pergunta sobre classificação em geral. Seja f um classificador, que produz um conjunto de probabilidades, com base em alguns dados D. Normalmente, alguém diria: bem, se P (c | D)> 0,5, atribuiremos uma classe 1, caso contrário, 0 (que seja binário classificação). Minha pergunta é: e se …

49 machine-learning  classification  binary-data  threshold 

Entendo que a descida do gradiente estocástico pode ser usada para otimizar uma rede neural usando retropropagação, atualizando cada iteração com uma amostra diferente do conjunto de dados de treinamento. Qual deve ser o tamanho do lote?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Veja o caso das classificações de livros em um site. O Livro A é avaliado por 10.000 pessoas, com uma classificação média de 4,25 e a variação . Da mesma forma, o Livro B é avaliado por 100 pessoas e tem uma classificação de 4,5 com σ = 0,25 .σ=0.5σ=0.5\sigma …

49 t-test  mean  sample-size 

Extraído de Estatísticas Práticas para Pesquisa Médica, onde Douglas Altman escreve na página 285: ... para quaisquer duas quantidades X e Y, X será correlacionado com XY. De fato, mesmo que X e Y sejam amostras de números aleatórios, esperaríamos que a correlação de X e XY fosse 0,7 Eu …

49 correlation  random-variable  intuition 

Como são todas as versões do mesmo método estatístico básico?

49 regression  self-study  anova  generalized-linear-model  t-test 

Os métodos bootstrap e jackknife podem ser usados ​​para estimar o viés e o erro padrão de uma estimativa e os mecanismos de ambos os métodos de reamostragem não são muito diferentes: amostragem com substituição vs. deixar de fora uma observação de cada vez. No entanto, o canivete não é …

49 r  confidence-interval  bootstrap  jackknife 

Se bem entendi, as classificações de livros em uma escala de 1 a 5 são pontuações do Likert. Ou seja, um 3 para mim pode não ser necessariamente um 3 para outra pessoa. É uma IMO em escala ordinal. Não se deve realmente medir escalas ordinais, mas definitivamente pode-se usar …

49 mean  ordinal-data  likert 

Eu tenho um conjunto de dados de amostra com 31 valores. Fiz um teste t bicaudal usando R para testar se a média verdadeira é igual a 10: t.test(x=data, mu=10, conf.level=0.95) Resultado: t = 11.244, df = 30, p-value = 2.786e-12 alternative hypothesis: true mean is not equal to 10 …

49 r  statistical-significance  t-test  p-value 

Como estamos usando a função logística para transformar uma combinação linear da entrada em uma saída não linear, como a regressão logística pode ser considerada um classificador linear? A regressão linear é como uma rede neural sem a camada oculta, então por que as redes neurais são consideradas classificadores não …

49 logistic  classification  neural-networks 

Estou tentando expandir meu conhecimento de estatística. Eu venho de uma experiência em ciências físicas com uma abordagem "baseada em receita" para testes estatísticos, onde dizemos que é contínuo, é normalmente distribuído - regressão OLS . Na minha leitura, encontrei os termos: modelo de efeitos aleatórios, modelo de efeitos fixos, …

49 random-effects-model  fixed-effects-model  marginal 

Apesar de ter visto esses termos 502847894789 vezes, não consigo me lembrar da diferença entre sensibilidade, especificidade, precisão, exatidão e recordação. Eles são conceitos bastante simples, mas os nomes não são muito intuitivos para mim, então eu os confundi. Qual é uma boa maneira de pensar sobre esses conceitos para …

49 terminology  accuracy  sensitivity-specificity 

Estou usando o pacote de festa no R com 10.000 linhas e 34 recursos, e alguns recursos de fator têm mais de 300 níveis. O tempo de computação é muito longo. (Demorou 3 horas até agora e ainda não terminou.) Quero saber quais elementos têm um grande efeito no tempo …

49 r  random-forest 

Com relação ao aprendizado não supervisionado (como cluster), existem métricas para avaliar o desempenho?

49 machine-learning  clustering  data-mining  unsupervised-learning 

Como você explicaria o iid (independente e identicamente distribuído) a pessoas não técnicas?

49 random-variable  intuition 

No cérebro idiota: um neurocientista explica o que sua cabeça realmente está aprontando , escreveu Dean Burnett A correlação entre altura e inteligência é geralmente citada como sendo de cerca de , o que significa que altura e inteligência parecem estar associadas em apenas 1 em cada 5 pessoas.0,20.20.21 111555 …

48 correlation  neuroscience