Estatísticas e Big Data

Meu objetivo é analisar os logs de rede (por exemplo, Apache, syslog, auditoria de segurança do Active Directory e assim por diante) usando a detecção de cluster / anomalia para fins de detecção de intrusão. Nos logs, tenho muitos campos de texto como endereço IP, nome de usuário, nome do …

9 feature-selection  outliers  unsupervised-learning  feature-construction 

Estou tentando ajudar um aluno de um colega. O aluno observou e contou o comportamento das aves (número de chamadas) em uma configuração experimental. O número de chamadas atribuíveis a uma ave observada específica durante cada experimento não pôde ser determinado, mas foi possível contar o número de aves que …

9 generalized-linear-model  count-data  offset 

Vamos supor variáveis ​​aleatórias independentes para as quais os quantis em algum nível específico são conhecidos por estimativa a partir dos dados: , ..., . Agora vamos definir a variável aleatória como a soma . Existe uma maneira de calcular o valor do quantil da soma no nível , ou …

9 quantiles 

Meu entendimento é que mesmo a regressão não causa causalidade. Só pode dar associação entre as variáveis ​​y ex variáveis ​​e possivelmente uma direção. Estou correcto? Muitas vezes encontrei frases semelhantes a "x prediz y", mesmo na maioria dos livros didáticos e em várias páginas de cursos on-line. E você …

9 regression  logistic  predictive-models  terminology  causality 

Eu tenho alguns dados discrepantes nos meus dados e queria excluí-los para ver se isso altera os resultados. Na sua opinião, qual é o número máximo de discrepantes aos quais se deve restringir? Obrigado!

9 outliers 

Eu tenho o seguinte conjunto de dados simples com duas variáveis ​​contínuas; ou seja: d = data.frame(x=runif(100,0,100),y = runif(100,0,100)) plot(d$x,d$y) abline(lm(y~x,d), col="red") cor(d$x,d$y) # = 0.2135273 Preciso reorganizar os dados para que a correlação entre as variáveis ​​seja ~ 0,6. Eu preciso manter os meios e outras estatísticas descritivas (sd, …

9 r  correlation 

Então, digamos que você jogue uma moeda 10 vezes e chame esse 1 de "evento". Se você executar 1.000.000 desses "eventos", qual a proporção de eventos com cabeças entre 0,4 e 0,6? A probabilidade binomial sugere que isso seja cerca de 0,65, mas meu código do Mathematica está me dizendo …

9 computational-statistics  mathematica 

Sejam X, Y e Z três variáveis ​​aleatórias independentes. Se X / Y tem a mesma distribuição que Z, é verdade que X tem a mesma distribuição que YZ?

9 probability  ratio 

Tempo de vida de 3 componentes electrónicos são e X 3 = 2,1 . As variáveis ​​aleatórias foram modeladas como uma amostra aleatória de tamanho 3 da distribuição exponencial com o parâmetro θ . A função de probabilidade é, para θ > 0X1 1= 3 , X2= 1,5 ,X1=3,X2=1.5,X_{1} = …

9 distributions  maximum-likelihood  exponential 

Na Análise de Sobrevivência, você assume que o tempo de sobrevivência de um rv seja distribuído exponencialmente. Considerando agora que eu tenho "resultados" do do iid rv . Apenas uma parte desses resultados é de fato "plenamente realizada", ou seja, as demais observações ainda estão "vivas".x 1 , … , …

9 maximum-likelihood  references  survival  censoring  exponential-family 

Tenho dados do seguinte desenho experimental: minhas observações são contagens do número de sucessos ( K) do número correspondente de tentativas ( N), medidos para dois grupos, cada um composto por Iindivíduos, a partir de Ttratamentos, nos quais em cada combinação de fatores existem Rrepetições . Portanto, no total, tenho …

9 r  generalized-linear-model  heteroscedasticity  log-linear  dglm 

Eu tenho duas variáveis ​​normalmente distribuídas e com zero médio e matriz de covariância . Estou interessado em tentar calcular o valor de em termos das entradas de .X 2 Σ E [ X 2 1 X 2 2 ] ΣX1X1X_1X2X2X_2ΣΣ\SigmaE[X21X22]E[X12X22]E[X_1^2 X_2^2]ΣΣ\Sigma Usei a lei da probabilidade total para obter …

9 normal-distribution  conditional-expectation 

Estou tentando estimar o efeito médio do tratamento a partir de dados observacionais usando a ponderação do escore de propensão (especificamente IPTW). Acho que estou calculando o ATE corretamente, mas não sei como calcular o intervalo de confiança do ATE, considerando os pesos da pontuação de propensão inversa. Aqui está …

9 r  survey  causality  propensity-scores  observational-study 

Na página 180 de Estatísticas robustas: A abordagem baseada nas funções de influência encontra-se a seguinte pergunta: 16: Mostre que para estimadores invariantes à localização sempre . Encontre o limite superior correspondente no ponto de ruptura da amostra finita , ambos no caso em que é ímpar ou é par. …

9 self-study  robust 

Na análise de regressão multivariada, parece que as pessoas usam diferentes definições de odds ratio ajustada. Você poderia esclarecer para mim o que é um OR ajustado e como ele difere de um OR não ajustado ? Obrigado!

9 regression  multivariate-analysis  odds-ratio