Estatísticas e Big Data

Existem resultados analíticos ou artigos experimentais sobre a escolha ideal do coeficiente do termo de penalidade . Por ótimo , quero dizer um parâmetro que maximiza a probabilidade de selecionar o melhor modelo ou que minimiza a perda esperada. Estou perguntando porque muitas vezes é impraticável escolher o parâmetro por …

15 model-selection  lasso  shrinkage 

Eu tenho um conjunto de dados no qual a taxa de eventos é muito baixa (40.000 de ). Estou aplicando regressão logística sobre isso. Eu tive uma discussão com alguém de onde saiu que a regressão logística não daria uma boa matriz de confusão em dados tão baixos de taxa …

15 logistic 

Estou executando um experimento em que estou coletando amostras (independentes) em paralelo, calculo a variação de cada grupo de amostras e agora quero combinar tudo para encontrar a variação total de todas as amostras. Estou tendo dificuldade em encontrar uma derivação para isso, pois não tenho certeza da terminologia. Eu …

15 variance 

Se é um CDF, parece que ( ) também é um CDF.F Z ( z ) α α > 0FZFZF_ZFZ(z)αFZ(z)αF_Z(z)^\alphaα > 0α>0\alpha \gt 0 P: Esse é um resultado padrão? P: Existe uma boa maneira de encontrar uma função com st , ondeX ≡ g ( Z ) F X …

15 data-transformation  cdf  quantile-function 

Tentei agrupar um conjunto de dados (um conjunto de marcas) e obtive 2 clusters. Eu gostaria de representá-lo graficamente. Um pouco confuso sobre a representação, já que não tenho as coordenadas (x, y). Também procurando pela função MATLAB / Python para fazer isso. EDITAR Acho que a publicação de dados …

15 clustering  data-visualization  python 

Um dos preditores no meu modelo logístico foi transformado em log. Como você interpreta o coeficiente estimado do preditor transformado em log e como calcula o impacto desse preditor no odds ratio?

15 logistic 

Eu brinquei com alguns testes de raiz unitária em R e não sei bem o que fazer com o parâmetro k lag. Usei o teste Dickey Fuller aumentado e o teste Philipps Perron do pacote tseries . Obviamente, o parâmetro padrão (para o ) depende apenas do comprimento da série. …

15 r  time-series  trend 

Quais são algumas técnicas para amostrar duas variáveis ​​aleatórias correlacionadas: se suas distribuições de probabilidade são parametrizadas (por exemplo, log-normal) se eles tiverem distribuições não paramétricas. Os dados são duas séries temporais para as quais podemos calcular coeficientes de correlação diferentes de zero. Desejamos simular esses dados no futuro, assumindo …

15 correlation  sampling  monte-carlo  stochastic-processes  copula 

Eu fiz um modelo de regressão logística usando glm em R. Eu tenho duas variáveis ​​independentes. Como posso plotar o limite de decisão do meu modelo no gráfico de dispersão das duas variáveis. Por exemplo, como plotar uma figura como: http://onlinecourses.science.psu.edu/stat557/node/55 Obrigado.

15 r  logistic 

Eu estava usando o termo "Caso Heywood" de maneira informal para me referir a situações em que uma estimativa on-line e 'resposta finita' atualizada iterativamente da variação se tornou negativa devido a problemas de precisão numérica. (Estou usando uma variante do método de Welford para adicionar dados e remover dados …

15 variance  factor-analysis  definition  online 

Minhas estatísticas foram autodidatas, mas muitos materiais que li apontam para um conjunto de dados com média 0 e desvio padrão de 1. Se for esse o caso, então: Por que a média 0 e o SD 1 são uma boa propriedade? Por que uma variável aleatória retirada desta amostra …

15 probability 

Eu tenho um conjunto de dados que eu esperaria seguir uma distribuição de Poisson, mas ele é superdisperso em cerca de 3 vezes. No momento, estou modelando essa superdispersão usando algo como o código a seguir em R. ## assuming a median value of 1500 med = 1500 rawdist = …

15 distributions  modeling  poisson-distribution  overdispersion 

Como um acompanhamento de Minha rede neural não consegue nem aprender a distância euclidiana , simplifiquei ainda mais e tentei treinar uma única ReLU (com peso aleatório) em uma única ReLU. Essa é a rede mais simples que existe e, ainda assim, metade do tempo em que falha na convergência. …

15 machine-learning  neural-networks  optimization  keras 

Estou usando uma regressão logística binomial para identificar se a exposição has_xou has_yafeta a probabilidade de um usuário clicar em algo. Meu modelo é o seguinte: fit = glm(formula = has_clicked ~ has_x + has_y, data=df, family = binomial()) Esta é a saída do meu modelo: Call: glm(formula = has_clicked …

15 regression  logistic  standard-error  logit 

Esta é uma questão de discussão sobre a interseção de estatística e outras ciências. Costumo enfrentar o mesmo problema: pesquisadores da minha área tendem a dizer que não há efeito quando o valor-p não é menor que o nível de significância. No começo, respondi muitas vezes que não é assim …

15 hypothesis-testing