Estatísticas e Big Data

Estou tentando modelar as intensidades médias de parasitas que afetam um hospedeiro em R usando um modelo binomial negativo. Eu recebo 50 ou mais avisos que dizem: In dpois(y, mu, log = TRUE) : non-integer x = 251.529000 Como posso lidar com isso? Meu código fica assim: mst.nb = glm.nb(Larvae+Nymphs+Adults~B.type+Month+Season, …

11 r  generalized-linear-model  negative-binomial 

Após um comentário de um tópico anterior , quero saber como é possível testar a suposição de tendência comum entre o grupo de tratamento e controle no método Diferença na diferença? Posso testar essa suposição com dados de dois momentos (por exemplo, pesquisa de linha de base em 2002, tratamento …

11 difference-in-difference 

Estou lendo o livro de Kevin Murphy: Machine Learning - uma perspectiva probabilística. No primeiro capítulo, o autor está explicando a maldição da dimensionalidade e há uma parte que eu não entendo. Como exemplo, o autor declara: Considere que as entradas são distribuídas uniformemente ao longo de um cubo de …

11 self-study  k-nearest-neighbour  high-dimensional 

Quero implementar o Adaboost usando o Decision Stump. É correto tomar tantas decisões quanto os recursos do nosso conjunto de dados em cada iteração do Adaboost? Por exemplo, se eu tiver um conjunto de dados com 24 recursos, devo ter 24 classificadores de stump de decisão em cada iteração? Ou …

11 machine-learning  classification  cart  boosting 

Eu quero implementar uma regressão de processo gaussiana incremental usando uma janela deslizante sobre os pontos de dados que chegam um por um através de um fluxo. Deixe denotam a dimensionalidade do espaço de entrada. Portanto, todo ponto de dados possui um número d de elementos.dddxixix_iddd Seja nnn o tamanho …

11 regression  covariance  gaussian-process  linear-algebra  online 

Estou usando o RandomForestpacote R e estou confuso sobre como interpretar os valores do eixo Y em seus gráficos de dependência parcial. Os documentos da Ajuda afirmam que o gráfico é uma "representação gráfica do efeito marginal de uma variável na probabilidade de classe". No entanto, ainda estou confuso quanto …

11 r  interpretation  random-forest  partial-plot 

Eu tenho uma série temporal e gostaria de modelá-la como um processo ARFIMA (também conhecido como FARIMA). Se estiver integrado na ordem (fracionária) , eu gostaria de diferenciá-la fracionariamente para torná-la estacionária.ytyty_tytyty_tddd Pergunta : a fórmula a seguir está definindo a diferença fracionária correta? Δdyt:=yt−dyt−1+d(d−1)2!yt−2−d(d−1)(d−2)3!yt−3+...+(−1)k+1d(d−1)⋅...⋅(d−k)k!yt−k+...Δdyt:=yt−dyt−1+d(d−1)2!yt−2−d(d−1)(d−2)3!yt−3+...+(−1)k+1d(d−1)⋅...⋅(d−k)k!yt−k+...\Delta^d y_t := y_t - d …

11 time-series  arima  arfima 

Esse tipo de distribuição é separado (EX: Binomial, Bernoulli, Multinomial) ou qualquer distribuição pode ser representada dessa maneira. Alguém pode elaborar com exemplo simples

11 probability  distributions 

Qual é a diferença entre rotação varimax e rotação oblimin na análise fatorial? Além disso, estou confuso sobre a relação entre análise de componentes principais, rotação varimax e análise fatorial exploratória, tanto na teoria quanto no SPSS. Como eles estão relacionados?

11 factor-analysis  rotation 

Eu apliquei o teste DW ao meu modelo de regressão em R e obtive uma estatística do teste DW de 1,78 e um valor p de 2,2e-16 = 0. Isso significa que não há autocorrelação entre os resíduos porque a estatística é próxima de 2 com um pequeno valor de …

11 r  regression  hypothesis-testing  autocorrelation  residuals 

Considere uma regressão simples (normalidade não assumida): onde está com média e desvio padrão . São os menos Estimativas quadrados de e uncorrelated?e i 0 σ a bYi=a+bXi+ei,Yi=a+bXi+ei,Y_i = a + b X_i + e_i,eieie_i000σσ\sigmaaaabbb

11 regression  correlation  estimation 

Eu li que o uso do quadrado R para séries temporais não é apropriado porque, em um contexto de série temporal (eu sei que existem outros contextos), o quadrado R não é mais exclusivo. Por que é isso? Tentei procurar isso, mas não encontrei nada. Normalmente, não dou muito valor …

11 regression  time-series  r-squared 

Eu preciso fazer uma simulação para avaliar uma integral de uma função de 3 parâmetros, dizemos , que tem uma fórmula muito complicada. É solicitado o uso do método MCMC para computá-lo e implementar o algoritmo Metropolis-Hastings para gerar os valores distribuídos como , e foi sugerido o uso de …

11 mcmc  metropolis-hastings 

Tenho uma pergunta sobre a distribuição correta a ser usada para criar um modelo com meus dados. Realizei um inventário florestal com 50 parcelas, cada parcela medindo 20m × 50m. Para cada parcela, estimei a porcentagem de copa das árvores que sombreia o chão. Cada parcela tem um valor, em …

11 distributions  binomial  gamma-distribution 

Eu implementei a seguinte função para calcular a entropia: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Resultado: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in …

11 mathematical-statistics  python  entropy