Estatísticas e Big Data

Eu tenho um conjunto de dados contendo 34 colunas de entrada e 8 colunas de saída. Uma maneira de resolver o problema é pegar as 34 entradas e criar um modelo de regressão individual para cada coluna de saída. Gostaria de saber se esse problema pode ser resolvido usando apenas …

10 neural-networks  deep-learning  multivariate-regression 

Ou que condições garantem isso? Em geral (e não apenas nos modelos normal e binomial), suponho que a principal razão que quebrou essa afirmação é que há inconsistência entre o modelo de amostragem e o anterior, mas o que mais? Estou começando com este tópico, então eu realmente aprecio exemplos …

10 bayesian  variance  information-theory 

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} O Teorema do Limite Central (CLT) afirma que, para X1,X2,…X1,X2,…X_1,X_2,\dots independentes e distribuídos de forma idêntica (iid) com E[Xi]=0E[Xi]=0\E[X_i]=0 e Var(Xi)&lt;∞Var⁡(Xi)&lt;∞\operatorname{ Var} (X_i)<\infty , a soma converge para uma distribuição normal como n→∞n→∞n\to\infty : ∑i=1nXi→N(0,n−−√).∑i=1nXi→N(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). Suponha que X1,X2,…X1,X2,…X_1,X_2,\dots formem uma cadeia Markov de estado …

10 markov-process  central-limit-theorem 

Uso RNN bidirecional para detectar um evento de ocorrência desequilibrada. A classe positiva é 100 vezes menos que a classe negativa. Embora nenhum uso de regularização eu possa obter 100% de precisão no conjunto de trens e 30% no conjunto de validação. Ativei a regularização de l2 e o resultado …

10 neural-networks  deep-learning  regularization  rnn 

Li esta legenda em um artigo e nunca vi a AUC descrita dessa maneira em nenhum outro lugar. Isso é verdade? Existe uma maneira simples ou comprovada de ver isso? A Fig. 2 mostra a precisão da previsão de variáveis ​​dicotômicas expressas em termos da área sob a curva característica …

10 classification  roc  auc 

Quero aprofundar o aprendizado de máquina (teoria e aplicação em finanças). Quero perguntar qual a relevância da análise complexa e da análise funcional como base para o Machine Learning? Preciso aprender esses assuntos ou devo me concentrar em outro tópico (se sim, em qual?)

10 machine-learning  pac-learning 

Suponha que eu tenha o mínimo, a média e o máximo de alguns conjuntos de dados, digamos, 10, 20 e 25. Existe uma maneira de: criar uma distribuição a partir desses dados e saber qual a porcentagem provável da população acima ou abaixo da média Editar: De acordo com a …

10 distributions  standard-deviation  mean  maximum  minimum 

No meu programa, eu preciso executar N threads separados, cada um com seu próprio RNG, que é usado para provar um grande conjunto de dados. Eu preciso ser capaz de propagar todo esse processo com um único valor para poder reproduzir resultados. É suficiente simplesmente aumentar sequencialmente a semente para …

10 python  monte-carlo  random-generation  numpy 

Existe alguma definição formal (matemática) do que os freqüentadores entendem sob "probabilidade". Eu li que é a frequência relativa de ocorrência '' a longo prazo '', mas existe alguma maneira formal de defini-la? Existem referências conhecidas nas quais posso encontrar essa definição? EDITAR: Com frequentista (veja o comentário de @whuber …

10 probability  frequentist  definition 

Estou ciente de testar a suposição de riscos proporcionais no contexto dos modelos Cox PH, mas não encontrei nada relacionado a modelos paramétricos? Existe uma maneira viável de testar a suposição de PH de certos modelos paramétricos? Parece que deve ser dado que os modelos paramétricos são apenas ligeiramente diferentes …

10 survival  assumptions  proportional-hazards 

Sei que isso provavelmente já foi discutido em outro lugar, mas não consegui encontrar uma resposta explícita. Estou tentando usar a fórmula para calcular fora da amostra de um modelo de regressão linear, em que é a soma dos resíduos quadrados e é a soma total dos quadrados. Para o …

10 regression  machine-learning  r-squared  out-of-sample 

Desejo testar algumas das minhas idéias que considero melhores do que qualquer coisa que já vi. Eu posso estar errado, mas gostaria de testar minhas idéias e vencer minhas dúvidas com mais observações certas. O que eu tenho pensado em fazer é o seguinte: Analiticamente, defina um conjunto de distribuições. …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

Ok - minha mensagem original falhou em obter uma resposta; então, deixe-me colocar a questão de forma diferente. Começarei explicando meu entendimento sobre estimativa de uma perspectiva teórica da decisão. Não tenho treinamento formal e não me surpreenderia se meu pensamento fosse defeituoso de alguma forma. Suponha que tenhamos alguma …

10 bias  loss-functions  frequentist  decision-theory  risk 

Atualmente, estou trabalhando em um projeto para fazer a previsão de dados de séries temporais (dados mensais). Estou usando R para fazer a previsão. Eu tenho 1 variável dependente (y) e 3 variáveis ​​independentes (x1, x2, x3). A variável y tem 73 observações e as outras 3 variáveis ​​(também 73). …

10 time-series  multiple-regression  forecasting  lags 

Basicamente, quero converter medidas de similaridade em pesos que são usados ​​como preditores. As semelhanças estarão em [0,1], e restringirei os pesos para também estar em [0,1]. Gostaria de uma função paramétrica que faça esse mapeamento que provavelmente otimizarei usando a descida de gradiente. Os requisitos são que 0 mapeie …

10 optimization  curve-fitting