Estatísticas e Big Data

Estou usando modelos SVM para fazer previsões de curto prazo de poluentes do ar. Para treinar um novo modelo, preciso encontrar metaparameters apropriados para um modelo SVM (refiro-me a C, gama e assim por diante). A documentação do Libsvm (e muitos outros livros que li) sugere o uso da pesquisa …

17 cross-validation  svm 

Ao usar a modelagem de tópicos (Alocação de Dirichlet Latente), o número de tópicos é um parâmetro de entrada que o usuário precisa especificar. Parece-me que também devemos fornecer uma coleção de tópicos de candidatos que o processo Dirichlet tem de provar? Meu entendimento está correto? Na prática, como configurar …

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

Suponha que executamos uma regressão linear simples , salvamos os resíduos e desenhamos um histograma de distribuição de resíduos. Se obtivermos algo que se parece com uma distribuição familiar, podemos assumir que nosso termo de erro tem essa distribuição? Digamos, se descobrimos que os resíduos se assemelham à distribuição normal, …

17 r  regression  residuals 

Enquanto estudava o intervalo de confiança baseado em bootstrap, li uma vez a seguinte declaração: Se a distribuição de autoinicialização estiver inclinada para a direita, o intervalo de confiança baseado em autoinicialização incorpora uma correção para mover os terminais ainda mais para a direita; isso pode parecer contra-intuitivo, mas é …

17 confidence-interval  bootstrap 

Essa é uma pergunta básica nos modelos da Box-Jenkins MA. Como eu entendo, um modelo MA é, basicamente, uma regressão linear de séries temporais valores YYY contra anterior termos de erro et,...,et−net,...,et−ne_t,..., e_{t-n} . Isto é, a observação YYY é primeiro regredido contra a sua valores anteriores Yt−1,...,Yt−nYt−1,...,Yt−nY_{t-1}, ..., Y_{t-n} …

17 regression  time-series  arima  box-jenkins 

Durante um experimento para classificação de texto, eu encontrei o classificador de cume gerando resultados que constantemente superam os testes entre os classificadores que são mais comumente mencionados e aplicados para tarefas de mineração de texto, como SVM, NB, kNN, etc. Embora eu não tenha elaborado na otimização de cada …

17 machine-learning  classification  text-mining  ridge-regression 

É suficiente mostrar que MSE = 0 como n→∞n→∞n\rightarrow\infty ? Também li em minhas anotações algo sobre plim. Como encontro o plim e o uso para mostrar que o estimador é consistente?

17 estimation  convergence  consistency 

Existe uma diferença entre as frases "teste de hipótese" e "teste de significância" ou são iguais? Após uma resposta detalhada de @Micheal Lew, tenho uma confusão de que atualmente a hipótese (por exemplo, teste t para testar a média) é exemplo de "teste de significância" ou "teste de hipótese"? Ou …

17 hypothesis-testing  statistical-significance 

Atualização : desculpe por outra atualização, mas encontrei algumas soluções possíveis com polinômios fracionários e o pacote de risco concorrente com o qual preciso de ajuda. O problema Não consigo encontrar uma maneira fácil de fazer uma análise de coeficiente dependente do tempo em R. Quero poder pegar o coeficiente …

17 r  regression  survival  cox-model 

Qual é a maneira correta de escrever um resultado post-hoc de Tukey? Existem vários exemplos com resultados diferentes? Digamos que você tenha norte, sul, leste e oeste. North N=50 Mean=2.45 SD=3.9 std error=.577 LB=1.29 UB=3.62 South N=40 Mean=2.54 SD=3.8 std error=.576 LB=1.29 UB=3.63 East N=55 Mean=3.45 SD=3.7 std error=.575 LB=1.29 …

17 post-hoc  tukey-hsd 

Acabei de notar que a integração da função quantílica de uma variável aleatória univariada (cdf inverso) de p = 0 ep = 1 produz a média da variável. Eu não tinha ouvido falar desse relacionamento até agora, então estou me perguntando: esse é sempre o caso? Em caso afirmativo, essa …

17 mean  pdf  quantile-function 

Eu tenho duas perguntas sobre intervalos de confiança: Aparentemente, um intervalo de confiança estreito implica que há uma chance menor de obter uma observação dentro desse intervalo; portanto, nossa precisão é maior. Também um intervalo de confiança de 95% é mais estreito que um intervalo de confiança de 99%, que …

17 confidence-interval 

Na discussão após uma pergunta recente sobre se o desvio padrão pode exceder a média, uma pergunta foi levantada brevemente, mas nunca totalmente respondida. Então, eu estou perguntando aqui. Considere um conjunto de nnn números não negativos que para . Não é necessário que o seja distinto, ou seja, o …

17 variance  mean  standard-deviation  coefficient-of-variation 

Estamos trabalhando com algumas regressões logísticas e percebemos que a probabilidade média estimada sempre é igual à proporção de uma na amostra; isto é, a média dos valores ajustados é igual à média da amostra. Alguém pode me explicar o motivo ou me dar uma referência para encontrar essa demonstração?

17 regression  logistic  modeling  generalized-linear-model  maximum-likelihood 

Eu tenho 5 variáveis ​​e estou tentando prever minha variável de destino, que deve estar dentro do intervalo de 0 a 70. Como uso essas informações para modelar melhor meu destino?

17 regression  bounds