Estatísticas e Big Data

Essa pergunta pode ser idiota, mas notei que existem duas formulações diferentes da regressão de Lasso . Sabemos que o problema de Lasso é minimizar o objetivo que consiste na perda quadrada mais o termo de penalidade -1, expresso da seguinte forma: LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda …

9 lasso 

Eu tinha uma tarefa de casa para expressar a distribuição binomial negativa como uma família exponencial de distribuições, uma vez que o parâmetro de dispersão era uma constante conhecida. Isso foi bastante fácil, mas eu me perguntava por que eles exigiriam que mantivéssemos esse parâmetro fixo. Eu descobri que não …

9 self-study  mathematical-statistics  negative-binomial  proof  exponential-family 

Quero executar uma regressão com 4 a 5 variáveis ​​explicativas, mas tenho apenas 15 observações. Não sendo possível assumir que essas variáveis ​​são normalmente distribuídas, existe um método de regressão não paramétrico ou outro válido?

9 regression  small-sample 

Vamos dizer que tenho N bolas em um saco. No meu primeiro sorteio, marquei a bola e a recoloquei na sacola. No meu segundo sorteio, se eu pegar uma bola marcada, eu a coloco na bolsa. Se, no entanto, eu pegar uma bola não marcada, eu a marca e a …

9 probability  estimation  population  combinatorics  capture-mark-recapture 

Sou iniciante na análise de sobrevivência, embora tenha algum conhecimento em classificação e regressão. Para regressão, temos estatísticas quadradas de MSE e R. Mas como podemos dizer que o modelo de sobrevivência A é superior ao modelo de sobrevivência B, além de algum tipo de gráfico (curva KM)? Se possível, …

9 regression  survival  goodness-of-fit  cart  rpart 

Uso regularmente testes de permutação e adoro a simplicidade deles. Aprendi mais com o livro "Métodos de reamostragem" de Good, no qual o autor parece bastante criativo em sua escolha de estatísticas de teste nos exemplos. Além disso, este post dá a impressão de que há uma grande liberdade para …

9 hypothesis-testing  permutation-test 

Um amigo estatístico meu me contou sobre uma técnica interessante usada para obter respostas honestas em pesquisas que tratavam de questões delicadas. Lembro-me da essência geral do método, mas estou me perguntando se alguém conhece os detalhes e se é mencionado em algum lugar. A história era que a AMA …

9 categorical-data  survey 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 5 anos . Atualmente, sou estudante de estatística em um programa muito …

9 sas  minitab 

No aprendizado de máquina, geralmente é assumido que um conjunto de dados se baseia em uma variedade de baixa dimensão suave (a suposição de variedade), mas existe alguma maneira de provar que, assumindo que certas condições sejam satisfeitas, o conjunto de dados é realmente (aproximadamente) gerado de um coletor suave …

9 machine-learning  dimensionality-reduction  manifold-learning 

Suponha que eu tenha alguma função desconhecida com domínio ℝ , que sei cumprir algumas condições razoáveis, como continuidade. Eu conheço os valores exatos de f (porque os dados provêm de uma simulação) em alguns pontos de amostragem equidistantes t_i = t_0 + iΔt com i∈ \ {1,…, n \} …

9 time-series  hypothesis-testing  exact-test 

Eu tenho um conjunto de dados de milhões de segmentos de linha direcionados. Os segmentos de linha são seqüenciais - é uma variável climática (calor sensível), com valores observados e simulados em intervalos de meia hora. Estou tentando procurar padrões no desempenho da simulação. Estou olhando para um gráfico de …

9 descriptive-statistics  vector-fields  data-visualization 

Estamos usando STL (implementação R) para prever dados de séries temporais. Todos os dias executamos previsões diárias. Gostaríamos de comparar valores de previsão com valores reais e identificar o desvio médio. Por exemplo, executamos a previsão para amanhã e obtivemos pontos de previsão. Gostaríamos de comparar esses pontos de previsão …

9 time-series  forecasting  accuracy 

Estou tentando entender melhor o método de Johansen, por isso desenvolvi um exemplo 3.1, dado pelo livro Probometria Baseada em Inferência Cointegrada-Autoregressiva-Econometria, onde temos três processos: X1t=∑i=1tϵ1i+ϵ2tX1t=∑i=1tϵ1i+ϵ2tX_{1t} = \sum_{i=1}^t \epsilon_{1i} + \epsilon_{2t} X2t=α∑i=1tϵ1i+ϵ3tX2t=α∑i=1tϵ1i+ϵ3t X_{2t} = \alpha \sum_{i=1}^t \epsilon_{1i} + \epsilon_{3t} X3t=ϵ4tX3t=ϵ4t X_{3t} = \epsilon_{4t} então os vetores de cointegração devem …

9 self-study  cointegration  vecm 

Eu tenho uma simulação em que um animal é colocado em um ambiente hostil e cronometrado para ver quanto tempo ele pode sobreviver usando alguma abordagem para a sobrevivência. Existem três abordagens que podem ser usadas para sobreviver. Eu fiz 300 simulações do animal usando cada abordagem de sobrevivência. Todas …

9 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test 

Quero gerar tempo de sobrevivência a partir de um modelo de riscos proporcionais de Cox que contenha covariáveis ​​dependentes do tempo. O modelo é h(t|Xi)=h0(t)exp(γXi+αmi(t))h(t|Xi)=h0(t)exp⁡(γXi+αmi(t))h(t|X_i) =h_0(t) \exp(\gamma X_i + \alpha m_{i}(t)) onde é gerado a partir do binômio (1,0,5) e .XiXiX_imi(t)=β0+β1Xi+β2Xitmi(t)=β0+β1Xi+β2Xitm_{i}(t)=\beta_0 + \beta_1 X_{i} + \beta_2 X_{i} t Os valores …

9 r  survival  cox-model  time-varying-covariate