Estatísticas e Big Data

Até agora, tenho usado a estatística Shapiro-Wilk para testar suposições de normalidade em pequenas amostras. Você poderia recomendar outra técnica?

22 hypothesis-testing  goodness-of-fit  normality-assumption  small-sample 

Eu tenho tentado desenvolver um entendimento baseado na intuição do teorema de Bayes em termos de probabilidade anterior , posterior , probabilidade e marginal . Para isso, uso a seguinte equação: onde A representa uma hipótese ou crença e B representa dados ou evidências. Eu entendi o conceito de posterior …

22 bayesian  likelihood  intuition 

Trabalho com redes neurais convolucionais (CNNs) há algum tempo, principalmente em dados de imagem para segmentação semântica / segmentação de instância. Eu muitas vezes visualizei o softmax da saída de rede como um "mapa de calor" para ver o quão alto são as ativações por pixel para uma determinada classe. …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Eu quero regredir uma variável em . Devo fazer isso usando polinômios brutos ou ortogonais? Eu olhei para a pergunta no site que lida com isso, mas eu realmente não entendo qual é a diferença entre usá-lo. x , x 2 , … , x 5yyyx , x2, … , …

22 r  regression  polynomial 

Qual é a motivação de introduzir um nível adicional de indireção do 'falso positivo' descritivo para o número inteiro '1'? O 'falso positivo' é realmente muito longo?

21 terminology  frequentist  type-i-and-ii-errors 

Isso foi perguntado em outros sites SE no contexto de sistemas operacionais e álgebra linear, mas a mesma pergunta me incomoda em relação aos métodos de kernel usados ​​em estatística e aprendizado de máquina. Costuma-se dizer que os kernels, por exemplo, na estimativa da densidade do kernel ou SVMs, representam …

21 terminology 

Eu tentei algumas pesquisas usuais no google, etc., mas a maioria das respostas que encontrei é um tanto ambígua ou específica de linguagem / biblioteca, como Python ou C ++ stdlib.hetc. Como exemplo, muitos dizem que a semente é um ponto de partida do gerador de números aleatórios e a …

21 random-generation 

Algumas fontes dizem que a função de probabilidade não é uma probabilidade condicional, outras dizem que é. Isso é muito confuso para mim. De acordo com a maioria das fontes que eu vi, a probabilidade de uma distribuição com o parâmetro deve ser um produto de funções de massa de …

21 probability  bayesian  conditional-probability  likelihood  frequentist 

Digamos que eu tenha os seguintes números: 4,3,5,6,5,3,4,2,5,4,3,6,5 Eu amostro alguns deles, digamos, 5 deles, e calculo a soma de 5 amostras. Repito isso repetidamente para obter muitas somas e planto os valores das somas em um histograma, que será gaussiano devido ao Teorema do Limite Central. Mas quando eles …

21 central-limit-theorem 

Se eu tenho dois valores A e B, ambos expressos como uma porcentagem de C, e quero expressar a diferença de magnitude entre A e B como uma porcentagem D, é mais correto expressar D como uma porcentagem de C, ou como uma porcentagem de B (ou mesmo A)? 50 …

21 terminology  percentage 

Acabei de realizar uma análise dos meus dados usando regressão logística, mas também sou obrigado a ter uma parte descritiva da Estatística no meu relatório. Sinceramente, não entendo o motivo disso e esperava que alguém pudesse explicar por que é necessário. Por exemplo, se plotar um histograma de uma das …

21 descriptive-statistics  reporting 

Estou curioso sobre uma afirmação feita no artigo da Wikipedia sobre tamanho de efeito . Especificamente: [...] uma comparação estatística não nula sempre mostrará resultados estatisticamente significativos, a menos que o tamanho do efeito populacional seja exatamente zero Não tenho certeza do que isso significa / implica, muito menos um …

21 hypothesis-testing 

Considere a regressão de crista com uma restrição adicional exigindo que tenha soma unitária dos quadrados (equivalentemente, variação unitária); se necessário, pode-se supor que possui soma unitária dos quadrados:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Qual é o limite de β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Versão curta: Sabemos que a regressão logística e a regressão probit podem ser interpretadas como envolvendo uma variável latente contínua que é discretizada de acordo com algum limite fixo antes da observação. Existe uma interpretação variável latente semelhante disponível para, por exemplo, regressão de Poisson? E quanto à regressão binomial …

21 logistic  generalized-linear-model  poisson-regression  probit  latent-variable 

Em uma conferência, ouvi a seguinte declaração: 100 medições para 5 sujeitos fornecem muito menos informações do que 5 medições para 100 sujeitos. É meio óbvio que isso é verdade, mas eu queria saber como alguém poderia provar isso matematicamente ... Eu acho que um modelo misto linear poderia ser …

21 mixed-model  variance  repeated-measures  sample-size  intraclass-correlation