Estatísticas e Big Data

Eu sei que o prior de Zellner está usando dados para definir informações anteriores, mas, na verdade, todo o modelo depende dos dados. Existe algum outro motivo?

9 regression  bayesian  uninformative-prior 

Eu tive uma entrevista de emprego para uma posição de ciência de dados. Durante a entrevista, perguntaram-me o que devo fazer para garantir que o modelo não seja ajustado demais. Minha primeira resposta foi usar a validação cruzada para avaliar o desempenho do modelo. No entanto, o entrevistador disse que …

9 cross-validation  regularization  overfitting 

Um problema que ocorre com frequência em meus experimentos é que o modelo varia no desempenho quando o estado aleatório do algoritmo é alterado. Portanto, a pergunta é simples, devo tomar o estado aleatório como um hiperparâmetro? Por que é que? Se meu modelo supera outras pessoas com diferentes estados …

9 machine-learning  scikit-learn 

Alguém pode sugerir como eu posso calcular o segundo momento (ou a função geradora de momentos inteiros) do cosseno de dois vetores aleatórios gaussianos , cada um distribuído como , independente um do outro? IE, momento para a seguinte variável aleatóriaN ( 0 , Σ )x,yx,yx,yN(0,Σ)N(0,Σ)\mathcal N (0,\Sigma) ⟨x,y⟩∥x∥∥y∥⟨x,y⟩‖x‖‖y‖\frac{\langle x, …

9 normal-distribution  mathematical-statistics  multivariate-analysis  circular-statistics  mgf 

Eu rotulei dados compostos por 10000 exemplos positivos e 50000 exemplos negativos, fornecendo um total de 60000 exemplos. Obviamente esses dados estão desequilibrados. Agora, digamos que quero criar meu conjunto de validação e quero usar 10% dos meus dados para fazer isso. Minha pergunta é a seguinte: Devo garantir que …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

Para colocar minha pergunta em contexto, sou físico, mas com exposição limitada à estatística e o que aprendi sobre isso há mais de 30 anos. Estou tentando aprender sobre a inicialização do bloco, pois essa técnica pode ser adequada para resolver um problema no qual estou trabalhando. Eu posso encontrar …

9 time-series  bootstrap 

Qual é a diferença básica entre a filtragem colaborativa baseada em itens e a análise baseada no mercado? Este último é um caso especializado do primeiro?

9 machine-learning  recommender-system 

Estou tentando provar ou refutar que a diferença entre a Correlação de Spearman e a Correlação de Kendall não passa de 1 (ou menos, quanto mais apertada, melhor). Estou assumindo que não há laços. Em uma tentativa de refutar o resultado usando um exemplo de contador, verifiquei todas as possibilidades …

9 correlation  spearman-rho  kendall-tau 

Apesar das semelhanças básicas como os dois modelos, a probabilidade de sucesso, em vez de modelar diretamente a variável resposta; Acredito que existem respostas mais confiáveis ​​que apontam as diferenças e semelhanças entre esses modelos. Uma diferença é que, na logística, pode-se usar diferentes tipos e diferentes números de variáveis …

9 regression  logistic  mathematical-statistics  irt 

Gostaria de saber se a estatística está concluída para em uma configuração . σ2N(μ,σ2)T(X1,…,Xn)=∑ni=1(Xi−X¯n)2n−1T(X1,…,Xn)=∑i=1n(Xi−X¯n)2n−1T(X_1,\ldots,X_n)=\frac{\sum_{i=1}^n (X_i-\bar{X}_n)^2}{n-1}σ2σ2\sigma^2N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2) Isso depende se é previamente conhecido ou não? Se estiver completo para , então por Lehmann-Scheffé é UMVUE . Mas se fosse conhecido, poderíamos considerar cuja variação é igual a Cramer-Rao ligou e é estritamente …

9 normal-distribution  estimation  inference  umvue 

Para variáveis ​​aleatórias independentes e , existe uma expressão de formulário fechado paraαα\alphaββ\beta E[αα2+β2√]E[αα2+β2]\mathbb E \left[ \frac{\alpha}{\sqrt{\alpha^2 + \beta^2}} \right] em termos dos valores e variações esperados de e ? Caso contrário, existe um bom limite inferior a essa expectativa?αα\alphaββ\beta Atualização: Também posso mencionar que e . Posso controlar a …

9 probability  random-variable  expected-value  ratio 

Eu tenho uma pergunta geralmente básica a fazer aqui que me preocupa há algum tempo. Durante a maior parte da minha leitura de estatísticas bayesianas, ele afirmou com naturalidade que a probabilidade marginal é muitas vezes intratável ou difícil de estimar. Por quê? Os motivos frequentemente mencionados incluem afirmações sobre …

9 bayesian  inference  likelihood 

Ao ler os documentos de segmentação semântica, bem como suas implementações correspondentes, descobri que algumas abordagens usam softmax enquanto outras usam sigmoide para a rotulação em nível de pixel. Por exemplo, com relação ao papel u-net , a saída é um mapa de recursos com dois canais. Eu já vi …

9 machine-learning  deep-learning  computer-vision  tensorflow 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 3 anos . Apesar das abordagens semelhantes e outras crescentes de variabilidade de …

9 machine-learning  classification  data-mining  supervised-learning  statistical-learning 

Atualmente, estou estudando sobre regressão logística. Mas estou ficando paralisado no cálculo da interceptação ( ) e do coeficiente ( ). Eu tenho procurado pela Internet, mas só recebo tutoriais usando o Microsoft Excel ou funções internas do R. Ouvi dizer que isso pode ser resolvido pela Máxima Verossimilhança, mas …

9 regression  machine-learning  logistic  maximum-likelihood