Estatísticas e Big Data

Estou tentando entender o resultado do teorema de Bayes, aplicado ao exemplo clássico da mamografia, com o toque perfeito da mamografia. Isso é, Incidência de câncer: .01.01.01 Probabilidade de uma mamografia positiva, dado o paciente ter câncer: 1 111 Probabilidade de uma mamografia positiva, dado que o paciente não tem …

11 bayesian  bayes  binning  diagnosis 

Minhas perguntas reais estão nos dois últimos parágrafos, mas para motivá-las: Se estou tentando estimar a média de uma variável aleatória que segue uma distribuição Normal com uma variação conhecida, li que colocar um uniforme antes da média resulta em uma distribuição posterior proporcional à função de probabilidade. Nessas situações, …

11 bayesian  maximum-likelihood  posterior  frequentist 

Estou falando aqui de matrizes de correlações de Pearson. Eu sempre ouvi dizer que todas as matrizes de correlação devem ser positivas semidefinidas. Meu entendimento é que matrizes definidas positivas devem ter valores próprios , enquanto matrizes semidefinidas positivas devem ter valores próprios ≥ 0 . Isso me faz pensar …

11 covariance-matrix  eigenvalues  correlation-matrix 

Parece que é realmente alto, mas isso é contra-intuitivo para mim. Alguém pode me explicar? Estou muito confuso com esta questão e gostaria de receber uma explicação detalhada e perspicaz. Muito obrigado antecipadamente!

11 autocorrelation  random-walk 

Como os mapas de ativação em uma determinada camada são conectados aos filtros dessa camada? Não estou perguntando sobre como fazer uma operação convolucional entre o filtro e o mapa de ativação, estou perguntando sobre o tipo de conectividade que esses dois possuem. Por exemplo, digamos que você queira fazer …

11 machine-learning  deep-learning  conv-neural-network 

Uma maneira de gerar incorporação de palavras é a seguinte ( espelho ): Obtenha um corpora, por exemplo: "Gosto de voar. Gosto de PNL. Gosto de aprendizado profundo". Crie a palavra matriz de coocorrência a partir dela: Execute o SVD no XXX e mantenha as primeiras kkk colunas de U. …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Eu tenho um problema semelhante à pergunta feita aqui: Como se mede a não uniformidade de uma distribuição? Eu tenho um conjunto de distribuições de probabilidade ao longo dos dias da semana. Quero medir o quão perto cada distribuição está (1/7,1 / 7, ..., 1/7). No momento estou usando uma …

11 probability  distributions  random-variable  uniform  measurement 

Como posso calcular o número de parâmetros em uma rede neural artificial para calcular sua AIC?

11 neural-networks  aic 

Qual é a diferença estatística entre fazer uma regressão linear em R com o formulaconjunto para em y ~ x + 0vez de y ~ x? Como interpreto esses dois resultados diferentes?

11 multiple-regression  generalized-linear-model  intercept 

O método bootstrap tem visto uma grande difusão nos últimos anos, eu também o uso muito, especialmente porque o raciocínio por trás é bastante intuitivo. Mas isso é uma coisa que eu não entendo. Por que a Efron optou por realizar uma nova amostra com substituição, em vez de simplesmente …

11 bootstrap  resampling  subsampling 

Minha pergunta revela meu fraco entendimento da regressão de Poisson e GLMs em geral. Aqui estão alguns dados falsos para ilustrar minha pergunta: ### some fake data x=c(1:14) y=c(0, 1, 2, 3, 1, 4, 9, 18, 23, 31, 20, 25, 37, 45) Algumas funções personalizadas para retornar psuedo-R2: ### functions …

11 generalized-linear-model  poisson-distribution 

Esta é a função de perda de desvio binomial do scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: …

11 machine-learning  scikit-learn  boosting  loss-functions 

Gostaria de saber como posso simular uma amostra de n vidas úteis de distribuição Weibull que incluem observações tipo I censuradas à direita. Por exemplo, vamos ter n = 3, forma = 3, escala = 1 e a taxa de censura = 0,15, e o tempo de censura = 0,88. …

11 r  survival  simulation  random-generation 

Entendo que as redes neurais (NNs) podem ser consideradas aproximadores universais de ambas as funções e suas derivadas, sob certas premissas (tanto na rede quanto na função de aproximação). De fato, eu fiz vários testes em funções simples, mas não triviais (por exemplo, polinômios), e parece que eu posso realmente …

11 machine-learning  neural-networks  function  derivative 

Gostaria de treinar um SVM para classificar casos (TRUE / FALSE) com base em 20 atributos. Eu sei que alguns desses atributos são altamente correlacionados. Portanto, minha pergunta é: o SVM é sensível à correlação ou redundância entre os recursos? Alguma referência?

11 svm  multicollinearity  kernel-trick