Estatísticas e Big Data

Um colega tem uma função e para os nossos propósitos é uma caixa-preta. A função mede a semelhança de dois objetos.s ( a , b )ssss ( a , b )s(a,b)s(a,b) Temos certeza de que tem essas propriedades:sss As pontuações de similaridade são números reais entre 0 e 1, inclusive. …

11 kernel-trick  distance  similarities  rbf-kernel 

Tenho dificuldades para entender a forma do intervalo de confiança de uma regressão polinomial. Aqui é um exemplo . A figura da esquerda mostra a UPV (variação de previsão não escalonada) e o gráfico da direita mostra o intervalo de confiança e os pontos medidos (artificiais) em X = 1,5, …

11 regression  confidence-interval 

Pelo meu entendimento, as CNNs consistem em duas partes. A primeira parte (camadas conv / pool) que faz a extração do recurso e a segunda parte (camadas fc) que faz a classificação dos recursos. Como as redes neurais totalmente conectadas não são os melhores classificadores (ou seja, elas são superadas …

11 neural-networks  svm  random-forest  conv-neural-network 

Vamos xx\mathbf{x} ser um vector aleatório tirado a partir de PPP . Considere uma amostra {xi}ni=1∼i.i.d.P{xi}i=1n∼i.i.d.P\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P . Definir x¯n:=1n∑ni=1xix¯n:=1n∑i=1nxi\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i, e C :=1C^:=1n∑ni=1(xi−x¯n)(xi−x¯n)⊤C^:=1n∑i=1n(xi−x¯n)(xi−x¯n)⊤\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top. Vamose.μ:=Ex∼P[x]μ:=Ex∼P[x]\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]C:=covx∼P[x,x]C:=covx∼P[x,x]C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}] Pelo teorema do limite …

11 normality-assumption  central-limit-theorem  asymptotics  quadratic-form 

Fechado . Esta pergunta precisa de detalhes ou clareza . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Adicione detalhes e esclareça o problema editando esta postagem . Fechado há 2 anos . Estou trabalhando em uma tarefa de casa, onde meu professor gostaria que criassemos um verdadeiro …

11 self-study  multiple-regression  estimation  linear-model 

Estou tentando entender esse problema. Um dado é rolado 100 vezes. Qual é a probabilidade de nenhum rosto aparecer mais de 20 vezes? Meu primeiro pensamento foi usar a distribuição binomial P (x) = 1 - 6 cmf (100, 1/6, 20), mas isso está obviamente errado, pois contamos alguns casos …

11 probability  mathematical-statistics  binomial  dice 

O Adaboost é um método de conjunto que combina muitos alunos fracos para formar um método forte. Todos os exemplos de adaboost que eu li usam tocos de decisão / árvores como alunos fracos. Posso usar diferentes alunos fracos no adaboost? Por exemplo, como implementar o adaboost (geralmente impulsionando) para …

11 logistic  adaboost 

Estou tentando provar a afirmação: Se e são variáveis ​​aleatórias independentes,X∼ N( 0 , σ21)X∼N(0,σ12)X\sim\mathcal{N}(0,\sigma_1^2)Y∼ N( 0 , σ22)Y∼N(0,σ22)Y\sim\mathcal{N}(0,\sigma_2^2) então também é uma variável aleatória Normal.XYX2+ Y2√XYX2+Y2\frac{XY}{\sqrt{X^2+Y^2}} Para o caso especial (digamos), temos o resultado bem conhecido de que sempre que e são variáveis independentes . De fato, é mais …

11 self-study  distributions  mathematical-statistics  normal-distribution  random-variable 

Os estimadores de Bayes são imunes ao viés de seleção? A maioria dos trabalhos que discutem estimativas em alta dimensão, por exemplo, dados de sequências genômicas completas, muitas vezes levanta a questão do viés de seleção. O viés de seleção decorre do fato de que, embora tenhamos milhares de preditores …

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

Por uma questão de exemplo, vamos supor que estamos construindo um estimador de idade, com base na imagem de uma pessoa. Abaixo, temos duas pessoas de terno, mas a primeira é claramente mais nova que a segunda. (fonte: tinytux.com ) Existem muitos recursos que implicam isso, por exemplo, a estrutura …

11 neural-networks  computer-vision 

Suponha um arquivo de dados com mais de 80 milhões de zeros e zeros, gerado aleatoriamente. A partir desse arquivo, queremos criar uma lista de números inteiros decimais aleatórios. Este é o plano para fazer essa conversão. Divida os 80 milhões de dígitos em agrupamentos de 4 dígitos binários. Converta …

11 monte-carlo  random-generation  randomness 

Já vi em alguns momentos o uso da derivada Radon-Nikodym de uma medida de probabilidade em relação a outra, principalmente na divergência de Kullback-Leibler, onde é a derivada da medida de probabilidade de um modelo para algum parâmetro arbitrário em relação ao parâmetro real :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Onde ambas são …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Esta pergunta é inspirada na resposta de Martijn aqui . Suponha que ajustemos um GLM para uma família de um parâmetro como um modelo binomial ou de Poisson e que seja um procedimento de probabilidade total (ao contrário de quasipoisson). Então, a variação é uma função da média. Com binomial: …

11 regression  generalized-linear-model  inference  approximation  t-distribution 

Eu estava olhando para este caderno e estou intrigado com esta afirmação: Quando falamos de normalidade, queremos dizer que os dados devem parecer uma distribuição normal. Isso é importante porque vários testes estatísticos dependem disso (por exemplo, estatísticas t). Não entendo por que uma estatística T precisa dos dados para …

11 mathematical-statistics  normal-distribution 

Nas configurações de regressão univariada, tentamos modelar y=Xβ+noisey=Xβ+noisey = X\beta +noise onde um vetor de observações e a matriz de design com preditores. A solução é . n X ∈ R n × m m β 0 = ( X T X ) - 1 X yy∈Rny∈Rny \in \mathbb{R}^nnnnX∈Rn×mX∈Rn×mX \in …

11 regression  multivariate-analysis  multivariate-regression