Estatísticas e Big Data

Estou investigando a interação entre duas variáveis ​​( e ). Existe uma grande correlação linear entre essas variáveis ​​com . Pela natureza do problema, não posso dizer nada sobre a causa (se causa ou o contrário). Eu gostaria de estudar os desvios da linha de regressão, a fim de detectar …

9 regression  outliers  linear-model 

Alguém sabe onde encontrar boas aplicações e exemplos (além do manual e do livro aplicou econometria com R) usando o modelo de tobit com os pacotes AER? Editar Estou procurando um comando para calcular os efeitos marginais para y (não para a variável latente y *). Parece ser ϕ ( …

9 r  tobit-regression 

Existe um método padrão (ou melhor) para testar quando uma determinada série temporal se estabilizou? Alguma motivação I têm um sistema dinâmico estocástico que gera um valor em cada passo de tempo t ∈ N . Este sistema tem algum comportamento transitório até o passo t ∗ e depois se …

9 time-series  machine-learning 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 6 anos . names(mydat)[c(name)]<-c("newname") A partir disso, sei que o nome da coluna / variável "name" do quadro …

9 r 

Eu tenho dois conjuntos de dados de estudos de associação em todo o genoma. A única informação disponível é a razão de chances e o valor p para o primeiro conjunto de dados. Para o segundo conjunto de dados, eu tenho a Odds Ratio, valor de p e frequências de …

9 meta-analysis  genetics 

Por que a permutabilidade de variáveis ​​aleatórias é essencial para a modelagem bayesiana hierárquica?

9 bayesian  multilevel-analysis  exchangeability 

Suponha que eu emparelhei observações desenhadas como para . Let e denotam por o ° maior valor observado de . Qual é a distribuição (condicional) de ? (ou equivalente, o de )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} Ou seja, qual é a distribuição de condicional em …

9 distributions  order-statistics  shrinkage 

Essa é uma pergunta bastante geral (ou seja, não necessariamente específica para estatística), mas notei uma tendência no aprendizado de máquina e na literatura estatística em que os autores preferem seguir a seguinte abordagem: Abordagem 1 : Obter uma solução para um problema prático, formulando uma função de custo para …

9 optimization  function 

Realizei uma decomposição SVD e um dimensionamento multidimensional de uma matriz de dados tridimensional, a fim de obter uma melhor compreensão da estrutura dos dados. Infelizmente, todos os valores singulares são da mesma ordem, implicando que a dimensionalidade dos dados é realmente 6. No entanto, eu gostaria de poder interpretar …

9 pca  interpretation  dimensionality-reduction  svd 

Estou confuso sobre a análise de permutação para seleção de características em um contexto de regressão logística. Você poderia fornecer uma explicação clara do teste de permutação aleatória e como ele se aplica à seleção de recursos? Possivelmente com algoritmo e exemplos exatos. Finalmente, como ele se compara a outros …

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Segundo o wiki, o critério de convergência mais utilizado é "a atribuição não mudou". Eu queria saber se o ciclismo pode ocorrer se usarmos esse critério de convergência? Eu ficaria satisfeito se alguém apontasse uma referência a um artigo que dê um exemplo de ciclismo ou prove que isso é …

9 clustering  algorithms  k-means 

Estou trabalhando com uma série de pontuações de anomalias (o fundo é a detecção de anomalias em redes de computadores). A cada minuto, recebo uma pontuação de anomalia que me diz o quão "inesperado" ou anormal é o estado atual da rede. Quanto maior a pontuação, mais anormal é o …

9 time-series  outliers  threshold 

A maioria dos algoritmos de agrupamento que eu vi começou com a criação de distâncias cada um entre todos os pontos, o que se torna problemático em conjuntos de dados maiores. Existe alguém que não faz isso? Ou faz isso em algum tipo de abordagem parcial / aproximada / escalonada? …

9 clustering  algorithms  large-data 

Estou modelando a Previsão de Diabetes usando Regressão Logística. O conjunto de dados usado é o Sistema de vigilância de fatores de risco comportamental (BRFSS) do Center for Disease Control (CDC). Uma das variáveis ​​independentes é a hipertensão arterial. É categórico com os seguintes níveis 'Sim', 'Não', 'Não sei / …

9 logistic  missing-data 

Eu ajustei dois modelos de equações de estimativa generalizada (GEE) aos meus dados: 1) Modelo 1: O resultado é uma variável longitudinal Sim / Não (A) (ano 1,2,3,4,5) com preditor contínuo longitudinal (B) para os anos 1,2,3,4,5. 2) Modelo 2: O resultado é a mesma variável longitudinal Sim / Não …

9 logistic  gee