Estatísticas e Big Data

Não posso ser específico sobre a natureza dos dados, pois são proprietários, mas suponha que tenhamos dados como este: a cada mês, algumas pessoas se inscrevem em um serviço. Então, em cada mês subsequente, essas pessoas podem atualizar o serviço, interromper o serviço ou ser-lhe negado o serviço (por exemplo, …

20 panel-data  splines  mars 

Estou fazendo o curso de Andrew Ng sobre Machine Learning através do Coursera . Para equações, sobrescritos são usados ​​em vez de subscritos. Por exemplo, na seguinte equação é usada em vez de :x( I )x(Eu)x^{(i)}xEuxEux_i J( θ0 0, θ1) = 12 m∑i = 1m( hθ( x( I )) - …

20 machine-learning  notation 

Eu não entendo exatamente o que se entende por tamanho do nó. Eu sei o que é um nó de decisão, mas não o tamanho do nó.

20 machine-learning  random-forest  bagging 

Li a partir daí que o erro padrão da variação da amostra é SEs2= 2 σ4N- 1------√SEs2=2σ4N-1SE_{s^2} = \sqrt{\frac{2 \sigma^4}{N-1}} Qual é o erro padrão do desvio padrão da amostra? Eu ficaria tentado a adivinhar e dizer que mas não tenho certeza.SEs= SEs2----√SEs=SEs2SE_{s} = \sqrt{SE_{s^2}}

20 sampling  standard-deviation  standard-error 

Foi um choque para mim a primeira vez que fiz uma simulação de Monte Carlo de distribuição normal e descobri que a média de desvios padrão de amostras, todas com um tamanho de amostra de apenas , provou ser muito menos do que, ie, a média de vezes, o usado …

20 normal-distribution  standard-deviation  expected-value  unbiased-estimator  umvue 

Veja esta pergunta no Math SE . Resumindo: li Os elementos do aprendizado estatístico e fiquei frustrado quando estava tentando verificar alguns dos resultados, por exemplo, dado então RSS ( β) = ( y - X β)T( y - X β) ,RSS(β)=(y-Xβ)T(y-Xβ),\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,} Estou procurando um livro de cálculo …

20 references  matrix  matrix-calculus 

O Paradoxo de Stein mostra que, quando três ou mais parâmetros são estimados simultaneamente, existem estimadores combinados mais precisos em média (ou seja, com menor erro quadrado médio esperado) do que qualquer método que lide com os parâmetros separadamente. Este é um resultado muito contra-intuitivo. O mesmo resultado é válido …

20 paradox  steins-phenomenon 

Eu tenho uma pergunta com relação à necessidade de usar métodos de seleção de recursos (florestas aleatórias apresentam valor de importância ou métodos de seleção de recursos univariados etc.) antes de executar um algoritmo de aprendizado estatístico. Sabemos que, para evitar ajustes excessivos, podemos introduzir penalidades de regularização nos vetores …

20 regression  machine-learning  feature-selection  lasso  regularization 

Eu tenho uma rede neural configurada para prever algo em que a variável de saída é ordinal. Descreverei abaixo usando três saídas possíveis A <B <C. É bastante óbvio como usar uma rede neural para gerar dados categóricos: a saída é apenas um softmax da última camada (geralmente totalmente conectada), …

20 neural-networks  ordinal-data  softmax 

Eu assisti muitos vídeos tutoriais e eles têm a mesma aparência. Este, por exemplo: https://www.youtube.com/watch?v=ip4iSMRW5X4 Eles explicam estados, ações e probabilidades que estão bem. A pessoa explica tudo bem, mas eu simplesmente não consigo entender o que seria usado na vida real. Ainda não encontrei nenhuma lista. O mais comum …

20 markov-process 

Existem muitas técnicas em estatísticas ecológicas para análise exploratória de dados multidimensionais. Essas são chamadas técnicas de 'ordenação'. Muitos são iguais ou estão intimamente relacionados a técnicas comuns em outras partes da estatística. Talvez o exemplo prototípico seja a análise de componentes principais (PCA). Os ecologistas podem usar o PCA …

20 pca  eda  ecology  correspondence-analysis 

Por que, no "Método dos momentos", equiparamos momentos de amostra a momentos de população para encontrar um estimador de pontos? Onde está a lógica por trás disso?

20 intuition  method-of-moments 

Fiquei impressionado com os resultados no artigo da ICML 2014 " Representações distribuídas de frases e documentos " de Le e Mikolov. A técnica que eles descrevem, denominada "vetores de parágrafos", aprende representações não supervisionadas de parágrafos / documentos arbitrariamente longos, com base em uma extensão do modelo word2vec. O …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Sei que executar o ajuste de hiperparâmetros fora da validação cruzada pode levar a estimativas enviesadas de validade externa, porque o conjunto de dados que você usa para medir o desempenho é o mesmo usado para ajustar os recursos. O que eu quero saber é o quão ruim é esse …

20 cross-validation  validation  hyperparameter 

A seguir, são apresentados os gráficos acf e pacf de uma série de dados mensal. O segundo gráfico é acf com ci.type = 'ma': A persistência de valores altos no gráfico ACF provavelmente representa uma tendência positiva a longo prazo. A questão é se isso representa variação sazonal? Tentei ver …

20 time-series