Estatísticas e Big Data

Enquanto estou estudando a estimativa de máxima verossimilhança, para fazer inferência na estimativa de máxima verossimilhança, precisamos conhecer a variação. Para descobrir a variação, preciso conhecer o Rao Lower Limound do Cramer, que se parece com uma Matriz Hessiana com Segunda Derivação na curvatura. Estou meio confuso para definir a …

12 machine-learning  mathematical-statistics  maximum-likelihood  data-mining 

Eu tenho lido sobre o método Nyström para aproximação de kernel de baixo escalão. Este método é implementado no scikit-learn [1] como um método para projetar amostras de dados para uma aproximação de baixo escalão do mapeamento de recursos do kernel. Para o melhor de meu conhecimento, dado um conjunto …

12 scikit-learn  dimensionality-reduction  kernel-trick  nonlinear 

Eu acredito que o título desta pergunta diz tudo.

12 clustering  k-means  high-dimensional 

Tenho alguns problemas para entender a propriedade da cadeia de Markov irredutível . Diz-se que irredutível significa que o processo estocástico pode "ir de qualquer estado para qualquer estado". Mas o que define se ele pode passar do estado para o estado ou não pode ir?jEuiijjj A página da wikipedia …

12 stochastic-processes  markov-process 

Quando alguém diz que os dados são amostrados de uma distribuição uniforme de log entre 128 e 4000, o que isso significa? Quão diferente é a amostragem de uma distribuição uniforme? Veja este artigo: http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf Obrigado!

12 machine-learning  distributions  uniform 

Tanto quanto eu sei, os autoencoders e o t-SNE são usados ​​para redução de dimensionalidade não linear. Quais são as diferenças entre eles e por que devo usar um contra o outro?

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne 

Eu tenho uma série de zoológicos com muitos valores ausentes. Eu li que auto.arimapode imputar esses valores ausentes? Alguém pode me ensinar como fazer isso? Muito obrigado! Isto é o que eu tentei, mas sem sucesso: fit <- auto.arima(tsx) plot(forecast(fit))

12 arima 

Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 Como posso calcular a precisão e recuperar, para que fique fácil calcular a pontuação F1. A matriz de confusão normal é uma dimensão 2 x 2. No entanto, quando se torna …

12 machine-learning  precision-recall 

Eu não sou um matemático. Eu pesquisei na Internet sobre KL Divergence. O que aprendi é que a divergência KL mede as informações perdidas quando aproximamos a distribuição de um modelo em relação à distribuição de entrada. Eu já vi isso entre duas distribuições contínuas ou discretas. Podemos fazê-lo entre …

12 distributions  mathematical-statistics  kullback-leibler 

Alguém pode me ajudar a entender quais são as diferenças entre o Modelo de Equações Simultâneas e o Modelo de Equações Estruturais (SEM)? Será ótimo se alguém puder me fornecer alguma literatura sobre isso. Além disso, existe alguma literatura em que SEM foi usado no contexto de séries temporais? As …

12 time-series  references  sem 

O LSTM no seguinte código Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) pode ser representado como Entendo que quando chamamos model.predict(np.array([[[1],[2],[3],[4]]]))a (apenas) unidade LSTM processa primeiro o vetor [1], depois [2] mais o feedback da entrada anterior e assim por diante até o vetor …

12 machine-learning  neural-networks  lstm  keras 

Estou implementando PCA, LDA e Naive Bayes, para compactação e classificação, respectivamente (implementando um LDA para compactação e classificação). Eu tenho o código escrito e tudo funciona. O que eu preciso saber, para o relatório, é qual é a definição geral de erro de reconstrução . Posso encontrar muita matemática …

12 machine-learning  pca  terminology  dimensionality-reduction  discriminant-analysis 

Estou fazendo um modelo simples de eliminação reversa baseado em AIC, em que algumas variáveis ​​são variáveis ​​categóricas com vários níveis. Essas variáveis ​​são modeladas como um conjunto de variáveis ​​fictícias. Ao fazer a eliminação para trás, devo remover todos os níveis de uma variável juntos? Ou devo tratar cada …

12 model-selection 

Eu sei que a distribuição da variação de amostra É do fato de que pode ser expressa na forma de matriz, (onde A: simétrico), e pode ser novamente expressa em: (onde Q: ortonormal, D: matriz diagonal). ∑(Xi−X¯)2σ2∼χ2(n−1)∑(Xi−X¯)2σ2∼χ(n−1)2 \sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)} ∑(Xi−X¯)2n−1∼σ2n−1χ2(n−1)∑(Xi−X¯)2n−1∼σ2n−1χ(n−1)2 \sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)} (X−X¯)2(X−X¯)2(X-\bar{X})^2xAx′xAx′xAx'x′QDQ′xx′QDQ′xx'QDQ'x Que tal , dada a suposição ? …

12 regression  mathematical-statistics  degrees-of-freedom  sums-of-squares 

Quais fatores devem ser considerados ao determinar se é necessário usar vários classificadores binários ou um único classificador multiclasse? Por exemplo, estou construindo um modelo que classifica os gestos com as mãos. Um caso simples possui 4 saídas: [Nenhum, polegar_up, punho cerrado, all_fingers_extended]. Eu vejo duas maneiras de abordar isso: …

12 classification  multi-class