Estatísticas e Big Data

Li este artigo de Michael Honiball (criador de Spacy), no qual ele fala sobre o problema do 'Esquecimento Catastrófico' . Aqui, ele diz que, quando queremos ajustar um modelo pré-treinado para adicionar um novo rótulo ou corrigir alguns erros específicos, ele pode introduzir o problema do 'Esquecimento Catastrófico' (perde sua …

8 deep-learning  natural-language 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . O que isto significa? Epoch 1/300 7200/7200 [==============================] - 0s - loss: 3.3616 - acc: …

8 neural-networks  tensorflow  keras 

Eu tenho uma pergunta ingênua sobre a teoria da decisão. Calculamos as probabilidades de vários resultados assumindo decisões específicas e atribuímos utilitários ou custos a cada resultado. Encontramos a decisão ideal encontrando a que tem a maior utilidade esperada. Mas por que devemos raciocinar dessa maneira? De fato, cada decisão …

8 expected-value  decision-theory  stochastic-ordering 

Estou um pouco preocupado e confuso com a ideia de como a técnica de parada precoce é definida. Se você der uma olhada na Wikipedia , ela será definida da seguinte forma: Divida os dados de treinamento em um conjunto de treinamento e um conjunto de validação, por exemplo, na …

8 machine-learning  neural-networks  cross-validation  hyperparameter 

Uma abordagem para a comparação de modelos em uma estrutura bayesiana usa uma variável de indicador de Bernoulli para determinar qual dos dois modelos provavelmente é o "modelo verdadeiro". Ao aplicar ferramentas baseadas no MCMC para ajustar esse modelo, é comum usar pseudo-anteriores para melhorar a mistura nas cadeias. Veja …

8 bayesian  model-selection  prior 

Eu tenho um dado que onde o resultado é a proporção de uma espécie observada em uma área por uma máquina em 2 dias separados. Como o resultado é uma proporção e não inclui 0 ou 1, usei uma regressão beta para ajustar-se ao modelo. A temperatura é usada como …

8 regression  logistic  multiple-regression  beta-regression 

Comecei a seguir os tutoriais do TensorFlow aqui e tenho uma pequena pergunta sobre os cálculos de entropia cruzada. Na maioria dos lugares que vi entropia cruzada calculada usando o log da base 2, mas o tf.log é a base e. Sob quais condições o uso de uma base de …

8 tensorflow  cross-entropy 

No meu entendimento, a econometria estima correlações parciais ( ceteris paribus ) com o objetivo de estimar principalmente as relações causais . Para isso, normalmente usa todo o conjunto de dados disponível. A economometria pode ser paramétrica e não paramétrica. Enquanto isso, o aprendizado de máquina não está interessado em …

8 machine-learning  econometrics 

Eu quero evitar o uso indevido de testes de normalidade, onde um tamanho de amostra grande o suficiente destacará qualquer leve não normalidade. Eu quero poder dizer que uma distribuição é "suficientemente normal". Quando a população não é normal, o valor de p para o teste Shapiro-Wilk tende a 0 …

8 hypothesis-testing  normality-assumption  effect-size 

O PCA procura fatores nos dados que maximizam a variação explicada. A análise de correlação canônica (CCA), até onde eu entendo, é como um PCA, mas procura por fatores que maximizem a covariância cruzada entre dois conjuntos de dados. Portanto, encontre fatores semelhantes ao pca, comuns a dois conjuntos de …

8 pca  canonical-correlation  ica 

Eu tenho uma pergunta sobre o quão preocupado eu deveria estar em relação a uma potencial violação da normalidade da suposição de resíduos em um modelo misto linear. Eu tenho um conjunto de dados relativamente pequeno e, após ajustar o modelo (usando 'lmer' em R), um teste de Shapiro-Wilks revela …

8 mixed-model  lme4-nlme 

Agora, estou passando para os GLMs depois dos modelos padrão. No modelo padrão, y = Xb + epsilon e epsilon é assumido como sendo normalmente distribuído. Isso significa que podemos escrever y - Xb = epsilon e então podemos minimizar o lhs usando alguma norma adequada, dada a suposição de …

8 generalized-linear-model  residuals 

Eu estava lendo o modelo word2vec padrão / famoso e de acordo com as notas do standord para cs224n, a função objetivo muda de: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) para: JNS1=−logσ(u⊤c−m+jvc)−∑k=1Klogσ(−u⊤kvc)JNS1=−logσ(uc−m+j⊤vc)−∑k=1Klogσ(−uk⊤vc)J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} log \sigma( …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Desculpas, se isso é confuso, não estou familiarizado com os meios geométricos. Por contexto, meu conjunto de dados é de 35 valores do portfólio no final do mês. Encontrei a taxa de crescimento mês a mês [Mês (N) / Mês (N-1)] - 1, de modo que agora tenho 34 observações …

8 distributions  confidence-interval  geometric-mean 

Estou tendo dificuldade em encontrar alguma explicação sobre o motivo pelo qual o Q-learning padrão tende a superestimar os valores q (que são abordados usando o Q-learning duplo). As únicas fontes que encontrei não explicam exatamente por que essa superestimação ocorre. Por exemplo, o artigo da Wikipedia sobre Q-learning diz: …

8 machine-learning  reinforcement-learning