Estatísticas e Big Data

Costuma-se dizer que a regressão gaussiana do processo corresponde (GPR) à regressão linear bayesiana com uma quantidade (possivelmente) infinita de funções básicas. Atualmente, estou tentando entender isso em detalhes para obter uma intuição para que tipo de modelo eu posso expressar usando o GPR. Você acha que essa é uma …

14 gaussian-process  kernel-trick  basis-function 

Eu sou bastante matematicamente inclinado - tinha 6 semestres de matemática na minha graduação - embora eu esteja um pouco fora da prática e demorei a dizer equações diferenciais parciais e integrais de caminho, meus conceitos voltam com um pouco de prática. Eu não tive um curso de provas matemáticas …

14 mathematical-statistics  references 

Possivelmente fora do tópico aqui, mas já existem várias ( uma , duas ) questões relacionadas. Pesquisando na literatura (ou uma pesquisa no Google por algoritmos SVD truncados) aparece muitos artigos que usam SVDs truncados de várias maneiras e afirmam (frustrantemente, muitas vezes sem citação) que existem algoritmos rápidos para …

14 algorithms  svd  numerics 

Em Discovering Statistics Using SPSS, de Andy Field, ele afirma que todas as variáveis ​​precisam ser transformadas. No entanto, na publicação: "Examinando relações espacialmente variáveis ​​entre uso da terra e qualidade da água usando regressão geograficamente ponderada I: desenho e avaliação de modelos", afirmam especificamente que apenas as variáveis ​​não …

14 normal-distribution  data-transformation 

Estou procurando uma maneira simples de fazer uma amostra de uma distribuição multivariada de von Mises-Fisher em Python. Eu procurei no módulo de estatísticas no scipy e no módulo numpy, mas só encontrei a distribuição univariada de von Mises. Existe algum código disponível? Ainda não encontrei. Aparentemente, Wood (1994) projetou …

14 distributions  sampling  python 

Existem algoritmos documentados para separar seções de um determinado conjunto de dados em diferentes curvas de melhor ajuste? Por exemplo, a maioria dos humanos que olha para esse gráfico de dados o divide rapidamente em três partes: um segmento sinusoidal, um segmento linear e o segmento exponencial inverso. De fato, …

14 fitting  curve-fitting  segmentation 

Alguém pode explicar brevemente para mim, por que cada uma das seis suposições é necessária para calcular o estimador de OLS? Descobri apenas sobre multicolinearidade - que, se existir, não podemos inverter a matriz (X'X) e, por sua vez, estimar o estimador geral. E os outros (por exemplo, linearidade, zero …

14 least-squares  assumptions 

A perda de dobradiça pode ser definida usando e a perda de log pode ser definida como log ( 1 + exp ( - y i w T x i ) )max ( 0 , 1 - yEuWTxEu)max(0 0,1-yEuWTxEu)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - yEuWTxEu) ))registro(1+exp⁡(-yEuWTxEu))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) Tenho …

14 machine-learning  svm  loss-functions  computer-vision 

Minha pergunta pode ser reformulada como "como avaliar um erro de amostragem usando big data", especialmente para uma publicação em periódico. Aqui está um exemplo para ilustrar um desafio. De um conjunto de dados muito grande (> 100.000 pacientes únicos e seus medicamentos prescritos em 100 hospitais), eu estava interessado …

14 confidence-interval  large-data  reporting 

Eu sei que a regressão gaussiana de processo (GPR) é uma alternativa ao uso de splines para o ajuste de modelos não lineares flexíveis. Eu gostaria de saber em quais situações uma seria mais adequada que a outra, especialmente na estrutura de regressão bayesiana. Eu já examinei Quais são as …

14 regression  gaussian-process  splines  kriging 

Digamos que estamos interessados ​​em como as notas dos exames dos alunos são afetadas pelo número de horas que esses alunos estudam. Para explorar essa relação, poderíamos executar a seguinte regressão linear: exam.gradesEu= a + β1× horas.estudoEu+ eEuexam.gradesEu=uma+β1×hours.studiedEu+eEu \text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i Mas se amostrarmos …

14 regression  mixed-model  random-effects-model  non-independent 

Antecedentes: Atualmente, estou trabalhando para comparar vários modelos hierárquicos bayesianos. Os dados são medidas numéricas de bem-estar do participante ie tempo j . Eu tenho cerca de 1000 participantes e 5 a 10 observações por participante.yeu jyEujy_{ij}EuEuijjj Como na maioria dos conjuntos de dados longitudinais, espero ver alguma forma de …

14 bayesian  autocorrelation  hierarchical-bayesian  deviance 

Eu sei que a regressão logística encontra um hiperplano que separa as amostras de treinamento. Sei também que as máquinas de vetores de suporte encontram o hiperplano com a margem máxima. Minha pergunta: então a diferença entre regressão logística (LR) e máquinas de vetores de suporte (SVM) é que a …

14 machine-learning  classification  svm  data-mining 

Estou um pouco confuso: como os resultados de um modelo treinado via sinal de intercalação diferem do modelo na embalagem original? Eu li se o pré-processamento é necessário antes da previsão usando o FinalModel do RandomForest com pacote de interpolação? mas eu não uso nenhum pré-processamento aqui. Treinei diferentes florestas …

14 r  machine-learning  random-forest  caret  train 

Não consigo encontrar definições para tátil ou medial na Wikipedia ou Wolfram Mathworld, mas a seguinte explicação é dada em Bílková, D. e Mala, I. (2012), " Aplicação do método do momento L ao modelar a distribuição de renda na República Tcheca ", Austrian Journal of Statistics , 41 (2), …

14 descriptive-statistics  quantiles  median  average  partial-moments