Estatísticas e Big Data

Qual é o significado exato da notação subscrita em expectativas condicionais na estrutura da teoria da medida? Esses subscritos não aparecem na definição de expectativa condicional, mas podemos ver, por exemplo, nesta página da wikipedia . (Observe que nem sempre foi o caso, a mesma página há alguns meses).EX[f(X)]EX[f(X)]\mathbb{E}_X[f(X)] Qual …

64 conditional-expectation  notation 

Eu tenho usado muito feliz modelos de efeitos mistos há algum tempo com dados longitudinais. Eu gostaria de poder encaixar os relacionamentos AR no passado (acho que estou certo que não posso fazer isso?), Mas não acho que seja desesperadamente importante, então não me preocupo muito. Acabei de encontrar equações …

63 mixed-model  gee 

Houve muitos debates nas estatísticas entre bayesianos e freqüentadores. Geralmente, acho essas coisas desanimadoras (embora eu ache que tudo acabou). Por outro lado, conheci várias pessoas que adotam uma visão totalmente pragmática da questão, dizendo que, às vezes, é mais conveniente realizar uma análise freqüentista e, às vezes, é mais …

63 bayesian  frequentist 

O livro de Taleb, "O Cisne Negro", foi um best-seller do New York Times quando foi lançado há vários anos. O livro está agora em sua segunda edição. Depois de se encontrar com estatísticos em uma JSM (uma conferência anual de estatística), Taleb atenuou um pouco suas críticas às estatísticas. …

63 extreme-value  rare-events 

Nos últimos anos, li vários artigos argumentando contra o uso de testes de significância de hipóteses nulas na ciência, mas não pensei em manter uma lista persistente. Um colega recentemente me pediu essa lista, então pensei em pedir a todos aqui para ajudar a construí-la. Para começar, aqui está o …

63 hypothesis-testing  statistical-significance  references  p-value 

Eu tentei reproduzir alguma pesquisa (usando PCA) do SPSS em R. Na minha experiência, a principal() função do pacote psychfoi a única função que se aproximou (ou se minha memória me serve bem, inoperante) para corresponder à saída. Para combinar com os mesmos resultados que no SPSS, eu tive que …

63 r  spss  pca  factor-analysis  factor-rotation 

A regressão múltipla e multivariada é realmente diferente? O que é uma variável de qualquer maneira?

63 regression  multiple-regression  terminology  multivariate-regression 

Qual é a diferença entre dados discretos e dados contínuos?

63 continuous-data  discrete-data 

O que decide a escolha da função (Softmax vs Sigmoid) em um classificador Logístico? Suponha que existem 4 classes de saída. Cada uma das funções acima fornece as probabilidades de cada classe ser a saída correta. Então, qual levar para um classificador?

63 machine-learning  logistic  classification  softmax 

Para alguns testes R, existe um limite mais baixo nos cálculos do valor p de . Não sei por que é esse número, se há uma boa razão para isso ou se é apenas arbitrário. Muitos outros pacotes de estatísticas são acessados , então esse é um nível de precisão …

63 r  p-value  reporting  precision 

Estou tendo a impressão de que, quando as pessoas estão se referindo a uma rede de "crenças profundas", essa é basicamente uma rede neural, mas muito grande. Isso está correto ou uma profunda rede de crenças também implica que o algoritmo em si é diferente (ou seja, nenhuma rede neural …

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Existe um propósito específico em termos de eficiência ou funcionalidade porque o algoritmo k-means não usa, por exemplo, (des) semelhança de cosseno como uma métrica de distância, mas apenas pode usar a norma euclidiana? Em geral, o método K-means está em conformidade e correto quando outras distâncias além da Euclidiana …

62 clustering  k-means  distance-functions  euclidean 

Alguém recebeu sugestões de bibliotecas ou códigos sobre como realmente plotar algumas árvores de amostra de: getTree(rfobj, k, labelVar=TRUE) (Sim, eu sei que você não deve fazer isso operacionalmente, a RF é uma caixa preta, etc. etc. Quero verificar visualmente uma árvore para verificar se alguma variável está se comportando …

62 r  data-visualization  random-forest  cart 

Aprecio a utilidade do bootstrap na obtenção de estimativas de incerteza, mas uma coisa que sempre me incomodou é que a distribuição correspondente a essas estimativas é a distribuição definida pela amostra. Em geral, parece uma má idéia acreditar que as frequências de nossa amostra se parecem exatamente com a …

62 bootstrap  uncertainty 

Ao responder a essa pergunta, John Christie sugeriu que o ajuste dos modelos de regressão logística fosse avaliado pela avaliação dos resíduos. Eu estou familiarizado com a interpretação de resíduos no OLS, eles estão na mesma escala que o DV e muito claramente a diferença entre y e y previstos …

62 r  logistic  generalized-linear-model  residuals  aic