Estatísticas e Big Data

Em geral, estou me perguntando se é sempre melhor não usar polinômios ortogonais ao ajustar uma regressão com variáveis ​​de ordem superior. Em particular, eu estou pensando com o uso de R: Se poly()com raw = FALSEproduz os mesmos valores ajustados como poly()com raw = TRUE, e polycom raw = …

13 r  regression  polynomial 

Acabei de terminar "Uma Introdução à Aprendizagem Estatística" . Perguntei-me se o uso da validação cruzada para encontrar os melhores parâmetros de ajuste para várias técnicas de aprendizado de máquina é diferente da espionagem de dados. Estamos verificando repetidamente qual valor do parâmetro de ajuste resulta em um melhor resultado …

13 machine-learning  cross-validation 

fundo Estou tentando entender o primeiro exemplo de um curso sobre montagem de modelos (então isso pode parecer ridiculamente simples). Fiz os cálculos manualmente e eles correspondem ao exemplo, mas quando os repito em R, os coeficientes do modelo estão desativados. Eu pensei que a diferença pode ser devido ao …

13 r  regression  self-study  lm 

Encontrei recentemente a distribuição bivariada de Poisson, mas estou um pouco confusa sobre como ela pode ser derivada. A distribuição é dada por: P( X= x , Y= y)=e−(θ1+θ2+θ0)θx1x!θy2y!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X=x,Y=y)=e−(θ1+θ2+θ0)θ1xx!θ2yy!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X = x, Y = y) = e^{-(\theta_{1}+\theta_{2}+\theta_{0})} \displaystyle\frac{\theta_{1}^{x}}{x!}\frac{\theta_{2}^{y}}{y!} \sum_{i=0}^{min(x,y)}\binom{x}{i}\binom{y}{i}i!\left(\frac{\theta_{0}}{\theta_{1}\theta_{2}}\right)^{i} Pelo que pude entender , o termo \ theta_ {0}θ0θ0\theta_{0} é uma …

13 distributions  mathematical-statistics  multivariate-analysis  poisson-distribution  proof 

Eu só tive um ataque de pânico (intelectual). Uma variável aleatória contínua que segue um uniforme em um intervalo fechado : um conceito estatístico confortavelmente familiar. U(a,b)U(a,b)U(a,b) Um uniforme contínuo rv com suporte sobre os reais estendidos (metade ou todo): não um rv adequado, mas um conceito bayesiano básico para …

13 probability  distributions  mathematical-statistics  uniform 

Estou tentando encontrar informações sobre os pressupostos da regressão PLS (único ). Estou especialmente interessado em uma comparação dos pressupostos do PLS com relação aos da regressão do OLS. yyy Eu li / vasculhei uma grande quantidade de literatura sobre o tópico do PLS; artigos de Wold (Svante e Herman), …

13 regression  assumptions  partial-least-squares 

Após a centralização, as duas medidas x e −x podem ser consideradas observações independentes de uma distribuição de Cauchy com função de densidade de probabilidade: f(x:θ)=f(x:θ)=f(x :\theta) = 1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞&lt;x&lt;∞,−∞&lt;x&lt;∞, -∞ < x < ∞ Mostre que se o MLE de θ é 0, mas se x 2 &gt; …

13 self-study  distributions  maximum-likelihood  cauchy 

Atualmente, estou tentando entender algumas coisas relacionadas à inicialização paramétrica. A maioria das coisas provavelmente é trivial, mas ainda acho que perdi alguma coisa. Suponha que eu queira obter intervalos de confiança para dados usando um procedimento de inicialização paramétrica. Então, eu tenho essa amostra e presumo que ela é …

13 nonparametric  bootstrap  simulation  monte-carlo  parametric 

Eu tenho um conjunto de dados supondo que os vizinhos mais próximos são os melhores preditores. Apenas um exemplo perfeito de gradiente bidirecional visualizado- Suponha que tenhamos um caso em que faltam poucos valores, podemos prever facilmente com base em vizinhos e tendências. Matriz de dados correspondente em R (exemplo …

13 r  prediction  outliers  data-imputation  multiple-imputation 

De acordo com a enciclopédia SAGE de métodos de pesquisa em ciências sociais … [a] o efeito teto ocorre quando uma medida possui um limite superior distinto para possíveis respostas e uma grande concentração de participantes pontua nesse limite ou próximo a ele. A atenuação da escala é um problema …

13 distributions  variance  scales  psychometrics  measurement 

Dois testes unilaterais de equivalência (TOST) foram estruturados para o teste de Kolmogorov – Smirnov para testar a hipótese nula negativista de que duas distribuições diferem pelo menos em algum nível especificado pelo pesquisador? Se não for TOST, alguma outra forma de teste de equivalência? Nick Stauner salienta sabiamente que …

13 kolmogorov-smirnov  equivalence  tost 

Entendo a causalidade usada na microeconomia (em particular o design de descontinuidade por IV ou regressão) e também a causalidade de Granger usada na econometria de séries temporais. Como me relaciono um com o outro? Por exemplo, eu vi as duas abordagens sendo usadas para dados em painel (digamos , …

13 time-series  econometrics  causality  granger-causality 

Ao ler sobre o PCA, deparei-me com a seguinte explicação: Suponha que tenhamos um conjunto de dados em que cada ponto de dados represente as pontuações de um único aluno em um teste de matemática, um teste de física, um teste de compreensão de leitura e um teste de vocabulário. …

13 pca 

Eu sou bastante novo em aprendizado de máquina, técnicas CART e similares, e espero que minha ingenuidade não seja muito óbvia. Como a Random Forest lida com estruturas de dados hierárquicas / multiníveis (por exemplo, quando a interação entre níveis é interessante)? Ou seja, conjuntos de dados com unidades de …

13 machine-learning  random-forest  multilevel-analysis  cart 

Eu tenho duas horas de dados de GPS com uma taxa de amostragem de 1 Hz (7200 medições). Os dados são fornecidos na forma ( X, Xσ, Y, Yσ, Z, Zσ)(X,Xσ,Y,Yσ,Z,Zσ)(X, X_\sigma, Y, Y_\sigma, Z, Z_\sigma) , onde NσNσN_\sigma é a incerteza de medição. Quando tomo a média de todas …

13 time-series  mean  standard-deviation