Estatísticas e Big Data

Ao executar a classificação SVM linear, geralmente é útil normalizar os dados de treinamento, por exemplo, subtraindo a média e dividindo pelo desvio padrão, e depois dimensione os dados de teste com a média e o desvio padrão dos dados de treinamento. Por que esse processo muda drasticamente o desempenho …

15 machine-learning  svm  standardization 

Suponha que dois grupos, compreendendo e n 2, classifiquem um conjunto de 25 itens do mais ao menos importante. Quais são as melhores maneiras de comparar essas classificações?n1n1n_1n2n2n_2 Claramente, é possível fazer 25 testes U de Mann-Whitney, mas isso resultaria em 25 resultados para interpretar, o que pode ser muito …

15 ranking  group-differences 

Eu trabalho com as informações mútuas há algum tempo. Mas encontrei uma medida muito recente no "mundo da correlação" que também pode ser usada para medir a independência da distribuição, a chamada "correlação à distância" (também denominada correlação browniana): http://en.wikipedia.org/wiki/Brownian_covariance . Eu verifiquei os papéis onde esta medida é introduzida, …

15 correlation  mutual-information  distance-covariance 

Recebi resultados de um teste de classificação de Mann-Whitney que não compreendo. A mediana das 2 populações é idêntica (6,9). Os quantis superior e inferior de cada população são: 6.64 e 7.2 6.60 e 7.1 O valor p resultante do teste que compara essas populações é de 0,007. Como essas …

15 nonparametric  median  ranks  wilcoxon-mann-whitney 

Deixe- ser uma variável aleatória qui-quadrado distribuído com k graus de liberdade. Quais são os limites mais nítidos conhecidos para as seguintes probabilidadesX∼χ2kX∼χk2X \sim \chi^2_kkkk P[X&gt;t]≤1−δ1(t,k)P[X&gt;t]≤1−δ1(t,k) \mathbb{P}[X > t] \leq 1 - \delta_1(t, k) e P[X&lt;z]≤1−δ2(z,k)P[X&lt;z]≤1−δ2(z,k) \mathbb{P}[X < z] \leq 1 - \delta_2(z, k) onde e δ 2 são algumas …

15 probability  chi-squared 

Gostaria de um conselho sobre o método de análise que estou usando, para saber se ele é estatisticamente correto. Medi dois pontos processa e T 2 = t 2 1 , t 2 2 , . . . , T 2 m e quero determinar se os eventos em T …

15 point-process  cross-correlation 

Qual é a derivada da função de ativação ReLU definida como: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) E o caso especial em que há uma descontinuidade na função em ?x=0x=0x=0

15 self-study  neural-networks 

Estou procurando fazer um projeto de reconhecimento óptico de caracteres (OCR). Depois de fazer algumas pesquisas, encontrei uma arquitetura que parece interessante: CNN + RNN + CTC. Eu estou familiarizado com redes neurais complicadas (CNN) e redes neurais recorrentes (RNN), mas o que é Classificação Temporal Conexionista (CTC)? Eu gostaria …

15 machine-learning  deep-learning  conv-neural-network  rnn 

Alguém poderia me explicar por que você precisa normalizar os dados ao usar o K vizinhos mais próximos. Eu tentei procurar isso, mas ainda não consigo entender. Encontrei o seguinte link: https://discuss.analyticsvidhya.com/t/why-it-is-necessary-to-normalize-in-knn/2715 Mas nesta explicação, não entendo por que um intervalo maior em um dos recursos afeta as previsões.

15 k-nearest-neighbour 

Estou tentando entender a função de perda do Yolo v2: λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align} Se alguém puder detalhar a função.

15 neural-networks  loss-functions  object-detection  yolo 

Estou lutando para entender zero distribuições infladas. O que eles são? Qual é o objetivo? Se eu tiver dados com muitos zeros, poderia ajustar uma regressão logística primeiro, calcular a probabilidade de zeros, remover todos os zeros e ajustar uma regressão regular usando minha escolha de distribuição (poisson, por exemplo). …

15 zero-inflation 

O que é uma função geradora de momento (MGF)? Você pode explicar isso em termos leigos e junto com um exemplo simples e fácil? Por favor, limite o uso de anotações matemáticas formais, tanto quanto possível.

15 moments  intuition  mgf 

Existem vídeos ou outros livros / notas que alguém já encontrou que seguem o reconhecimento de padrões e o aprendizado de máquina de Chris Bishop? Comprei este livro para aprender Machine Learning e estou tendo alguns problemas para resolvê-lo.

15 machine-learning  references  pattern-recognition 

Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Begnio, Goodfellow e Courtville: Adam inclui correções de viés nas estimativas dos momentos de primeira ordem (o termo momentum) e dos momentos de segunda ordem …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Os lugares que eu tenho lido sobre a maldição da dimensionalidade explicam isso em conjunto com o kNN principalmente, e com os modelos lineares em geral. Eu vejo regularmente os principais executivos do Kaggle usando milhares de recursos no conjunto de dados que dificilmente tem 100 mil pontos de dados. …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional