Estatísticas e Big Data

Por que as medidas de dispersão são calculadas em relação a algum ponto central? Por que, por exemplo, todas as possíveis diferenças não repetidas e emparelhadas no conjunto de dados não seriam uma medida válida de dispersão?

8 dataset  standard-deviation  theory  variability 

Esta pergunta já tem respostas aqui : Meu modelo é bom, com base no valor da métrica de diagnóstico ( / AUC / precisão / RMSE etc.)? R2R2R^2 (3 respostas) Fechado há 7 meses . Eu tenho dados de aprendizagem que consistem em ~ 45k amostras, cada uma com 21 …

8 classification  random-forest  out-of-sample 

Meus dados consistem em várias medições contínuas e em algumas variáveis ​​fictícias que representam os anos em que as medições foram feitas. Agora, quero aprender uma rede neural com os dados. Portanto, estou normalizando o zScore de todas as variáveis, incluindo as variáveis ​​dummy. No entanto, eu me pergunto se …

8 categorical-data  normalization 

Dado o seguinte quadro de dados: df <- data.frame(x1 = c(26, 28, 19, 27, 23, 31, 22, 1, 2, 1, 1, 1), x2 = c(5, 5, 7, 5, 7, 4, 2, 0, 0, 0, 0, 1), x3 = c(8, 6, 5, 7, 5, 9, 5, 1, 0, 1, 0, 1), …

8 r  correlation  hierarchical-clustering 

Essa é uma pergunta bastante genérica: suponha que eu queira construir um modelo para prever a próxima observação com base nas observações anteriores de ( N pode ser um parâmetro para otimizar experimentalmente). Portanto, basicamente temos uma janela deslizante de recursos de entrada para prever a próxima observação.NNNNNN Eu posso …

8 regression  time-series  modeling  prediction  hidden-markov-model 

Entendo o modelo AR (p): sua entrada é a série temporal sendo modelada. Estou completamente paralisado ao ler sobre o modelo MA (q): sua entrada é inovação ou choque aleatório, como costuma ser formulado. O problema é que não consigo imaginar como obter um componente de inovação que ainda não …

8 time-series  arima  linear-model  intuition 

Suponha que eu tenha uma função como: f <- function(x){ exp(x) / (1 + exp(x)) } ele deve funcionar com qualquer valor real de x, mas na verdade ele retorna NaN quando x é 710 ou maior. Gostaria de saber qual é a maneira correta de lidar com esse problema. …

8 r  function  numerics 

O livro de Kevin Murphy discute um problema bayesiano hierárquico clássico (originalmente discutido em Johnson and Albert, 1999, p24): Suponha que estamos tentando estimar a taxa de câncer em cidades. Em cada cidade, amostramos um número de indivíduos e medimos o número de pessoas com câncer , onde é a …

8 bayesian  hierarchical-bayesian  pymc  probabilistic-programming 

Deixe uma função que, dada alguma hipótese retorne o erro de generalização para esse fixo .E( H )E(h)\mathcal{E(h)}hhhhhh Eu estava lendo algumas notas sobre seleção de modelo e erro de generalização e dizia: "Se tivéssemos acesso a , também não haveria problema de seleção de modelos. Simplesmente selecionaríamos os largas …

8 machine-learning  model 

Sou um pouco novato em R e seleção de recursos e tentei o pacote Boruta para selecionar (diminuir) meu número de variáveis ​​(n = 40). Eu pensei que esse método também levasse em conta a possível correlação entre variáveis, no entanto, duas (das 20 variáveis ​​selecionadas) são altamente correlacionadas e …

8 r  feature-selection  random-forest  boruta 

Vindo de um background em ciências sociais e epidemiologia, meus colegas de trabalho foram treinados em regressão de mínimos quadrados, regressão logística e análise de sobrevivência. Eles gostam de ver intervalos de confiança de 95% e valores de p com os coeficientes de parâmetro e desconfiam das ferramentas preditivas mais …

8 predictive-models  epidemiology  teaching  social-science 

Tenho dificuldades com as probabilidades . Eu entendo o Teorema de Bayes p(A|B,H)=p(B|A,H)p(A|H)p(B|H)p(A|B,H)=p(B|A,H)p(A|H)p(B|H)p(A|B, \mathcal{H}) = \frac{p(B|A, \mathcal{H}) p(A|\mathcal{H})}{p(B|\mathcal{H})} que pode ser deduzido diretamente da aplicação de p(A,B)=p(B)⋅p(A|B)=p(A)p(B|A)=p(B,A)p(A,B)=p(B)⋅p(A|B)=p(A)p(B|A)=p(B,A)p(A,B) = p(B) \cdot p(A|B) = p (A) p(B|A) = p(B,A) . Assim, na minha interpretação, p(⋅)p(⋅)p(\cdot)funções no teorema de Bayes são de alguma …

8 probability  likelihood 

Você conhece Bradley Efron ? Ele é um ótimo homem. Como Efron imaginou ou pensou em "bootstrap" pela primeira vez?

8 bootstrap  history 

Venho brincando com a regressão logística com vários algoritmos de otimização de lote (gradiente conjugado, newton-raphson e vários métodos de quasinewton). Uma coisa que notei é que, às vezes, adicionar mais dados a um modelo pode tornar o treinamento do modelo muito menos demorado. Cada iteração requer a observação de …

8 logistic  references  optimization 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . minha série temporal é obviamente periódica, mas a decomposição sazonal usando stl () não está …

8 r  time-series  seasonality