Estatísticas e Big Data

Suponha que eu tenha uma variável como Xcom distribuição desconhecida. No Mathematica, usando a SmoothKernelDensityfunção, podemos ter uma função de densidade estimada. Essa função de densidade estimada pode ser usada juntamente com a PDFfunção para calcular a função de densidade de probabilidade de um valor como Xna forma de PDF[density,X]assumir …

17 r  pdf  cdf 

As florestas aleatórias (RF) são um método competitivo de modelagem / mineração de dados. Um modelo de RF possui uma saída - a variável de saída / previsão. A abordagem ingênua para modelar várias saídas com RFs seria construir uma RF para cada variável de saída. Portanto, temos N modelos …

17 machine-learning  cart  random-forest  multilabel 

Alguém conhece um bom artigo de revisão para a literatura estatística sobre regressão não linear? Estou interessado principalmente em resultados de consistência e assintóticos. De particular interesse é o modelo yeu t= m ( xeu t, θ ) + ϵeu t,yEut=m(xEut,θ)+ϵEut,y_{it} = m(x_{it},\theta) + \epsilon_{it}, para dados do painel. De …

17 regression  references  nonlinear-regression 

Qual é a diferença entre Máquinas de vetores de suporte e Análise discriminante linear?

17 classification 

Acabei de ler esta discussão. Eles argumentam que a AUC do PR é melhor que a AUC do ROC no conjunto de dados desequilibrados. Por exemplo, temos 10 amostras no conjunto de dados de teste. 9 amostras são positivas e 1 é negativa. Temos um modelo terrível que prevê tudo …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Minha pergunta pode ser tola. Então, peço desculpas antecipadamente. Eu estava tentando usar o modelo GLOVE pré-treinado pelo grupo da PNL de Stanford ( link ). No entanto, notei que meus resultados de similaridade mostraram alguns números negativos. Isso imediatamente me levou a olhar para o arquivo de dados vetoriais …

17 machine-learning  word2vec  cosine-similarity 

Podemos fornecer imagens com tamanho variável como entrada para uma rede neural convolucional para detecção de objetos? Se possível, como podemos fazer isso? Mas se tentarmos cortar a imagem, perderemos uma parte da imagem e se tentarmos redimensionar, a clareza da imagem será perdida. Isso significa que usar a propriedade …

17 deep-learning  tensorflow  keras  computer-vision  object-detection 

Alguém poderia me dar alguns exemplos práticos da Distribuição Cauchy? O que o torna tão popular?

16 distributions  continuous-data  cauchy 

Eu encontrei alguns estatísticos que nunca usam modelos diferentes de regressão linear para previsão porque acreditam que "modelos de ML", como floresta aleatória ou aumento de gradiente, são difíceis de explicar ou "não interpretáveis". Em uma regressão linear, considerando que o conjunto de premissas é verificado (normalidade dos erros, homocedasticidade, …

16 regression  machine-learning  multiple-regression  model-interpretation 

Primeiro de tudo, não estou perguntando isso: Por que a correlação zero não implica independência? Isso é abordado (de maneira bastante agradável) aqui: /math/444408/why-does-zero-correlation-not-imply-independence O que estou perguntando é o oposto ... digamos que duas variáveis ​​sejam totalmente independentes uma da outra. Eles não poderiam ter uma pequena correlação por …

16 correlation  mathematical-statistics  covariance  independence 

Parece que a definição de aprendizado supervisionado é um subconjunto de aprendizado por reforço, com um tipo específico de função de recompensa que se baseia em dados rotulados (em oposição a outras informações no ambiente). Esse é um retrato preciso?

16 machine-learning  terminology  reinforcement-learning  supervised-learning  definition 

Qual é a definição matemática de uma relação causal entre duas variáveis ​​aleatórias? Dada uma amostra da distribuição conjunta de duas variáveis ​​aleatórias e , quando diríamos que causa ?XXXYYYXXXYYY Para contextualizar, estou lendo este artigo sobre descoberta causal .

16 machine-learning  causality 

(Essa pergunta pode parecer mais adequada para o Philosophy SE. Espero que os estatísticos possam esclarecer meus equívocos sobre as declarações de Box e Shmueli, por isso estou publicando aqui). George Box (da fama do ARIMA) disse: "Todos os modelos estão errados, mas alguns são úteis." Galit Shmueli, em seu …

16 predictive-models  aic  bic  philosophical  explanatory-models 

No meu trabalho, quando os indivíduos se referem ao valor "médio" de um conjunto de dados, eles geralmente se referem à média aritmética (ou seja, "média" ou "valor esperado"). Se eu fornecesse a média geométrica , as pessoas provavelmente pensariam que eu estava sendo malicioso ou inútil, pois a definição …

16 median  definition 

Uma regra de pontuação adequada é uma regra que é maximizada por um modelo 'verdadeiro' e não permite 'hedging' ou jogo do sistema (relatando deliberadamente resultados diferentes, como é a crença verdadeira do modelo para melhorar a pontuação). A pontuação Brier é adequada, a precisão (proporção classificada corretamente) é inadequada …

16 classification  references  roc  measurement-error  scoring-rules