Estatísticas e Big Data

Eu estava lendo o livro de Yoshua Bengio sobre aprendizado profundo e está escrito na página 224: As redes convolucionais são simplesmente redes neurais que usam a convolução no lugar da multiplicação geral da matriz em pelo menos uma de suas camadas. no entanto, eu não tinha 100% de certeza …

13 machine-learning  neural-networks  deep-learning  convolution 

Estou usando kkk significa agrupar para agrupar as vozes dos alto-falantes. Quando comparo um enunciado com os dados do alto-falante em cluster, obtenho distorção média (baseada na distância euclidiana). Essa distância pode estar na faixa de [0,∞][0,∞][0,\infty] . Eu quero converter essa distância para uma pontuação de similaridade [0,1][0,1][0,1] . …

13 clustering  k-means  distance  euclidean 

O que é uma estatística F parcial? É o mesmo que o teste F parcial? Quando você calcularia uma estatística F parcial? Estou assumindo que isso tem algo a ver com a comparação de modelos de regressão, mas não estou seguindo algo (?)

13 regression  multiple-regression 

Em Estratégias de modelagem de regressão, de Harrell (segunda edição), há uma seção (S. 20.1.7) discutindo modelos de Cox, incluindo uma interação entre uma covariável cujo principal efeito sobre a sobrevivência também queremos estimar (idade no exemplo abaixo) e uma covariável cujo principal efeito não queremos estimar (gênero no exemplo …

13 survival  cox-model  stratification 

Como é definida a variação de longo prazo no domínio da análise de séries temporais? Eu entendo que é utilizado no caso de haver uma estrutura de correlação nos dados. Assim, o nosso processo estocástico não seria uma família de X1,X2…X1,X2…X_1, X_2 \dots iid variáveis aleatórias, mas sim apenas identicamente …

13 time-series  variance  references  kernel-smoothing  non-independent 

Lendo a excelente modelagem estatística: As duas culturas (Breiman 2001) , podemos aproveitar toda a diferença entre modelos estatísticos tradicionais (por exemplo, regressão linear) e algoritmos de aprendizado de máquina (por exemplo, Bagging, Random Forest, Boosted trees ...). Breiman critica os modelos de dados (paramétricos) porque eles se baseiam na …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Nota: O lema de Borel-Cantelli diz que ∑n=1∞P(An)<∞⇒P(limsupAn)=0∑n=1∞P(An)<∞⇒P(limsupAn)=0\sum_{n=1}^\infty P(A_n) \lt \infty \Rightarrow P(\lim\sup A_n)=0 ∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1\sum_{n=1}^\infty P(A_n) =\infty \textrm{ and } A_n\textrm{'s are independent} \Rightarrow P(\lim\sup A_n)=1 Então, se ∑n=1∞P(AnAcn+1)<∞∑n=1∞P(AnAn+1c)<∞\sum_{n=1}^\infty P(A_nA_{n+1}^c )\lt \infty usando o lema de Borel-Cantelli Eu quero mostrar isso primeiramente, …

13 probability  self-study  stochastic-processes  probability-inequalities 

Estou analisando a distribuição da latência da rede. O tempo médio de upload (U) é de 0,5s. O tempo médio de download (D) é 2s. No entanto, o tempo total mediano (para cada ponto de dados, T = U + D) é 4s. Que conclusões podem ser tiradas sabendo que …

13 random-variable  median  summations 

Eu sei que uma soma de gaussianos é gaussiana. Então, como é diferente uma mistura de gaussianos? Quero dizer, uma mistura de gaussianos é apenas uma soma de gaussianos (onde cada gaussiano é multiplicado pelo respectivo coeficiente de mistura), certo?

13 normal-distribution  random-variable  mixture  gaussian-mixture 

Estou trabalhando em alguns dados sintáticos para o modelo Error In Variable para algumas pesquisas. Atualmente, tenho uma única variável independente e estou assumindo que conheço a variação do valor verdadeiro da variável dependente. Portanto, com essas informações, posso obter um estimador imparcial para o coeficiente da variável dependente. O …

13 regression  matlab  unbiased-estimator  errors-in-variables 

Sou relativamente novo em estatística e gostaria de ajudar a entender melhor isso. No meu campo, há um modelo comumente usado do formulário: Pt= Po( Vt)αPt=Po(Vt)αP_t = P_o(V_t)^\alpha Quando as pessoas ajustam o modelo aos dados, elas geralmente o linearizam e ajustam os seguintes registro( Pt) = log( Po) + …

13 modeling  model  error  curve-fitting  measurement-error 

Eu perguntei sobre isso antes e realmente tenho lutado para identificar o que torna um parâmetro de modelo e o que o torna uma variável latente. Portanto, analisando vários tópicos sobre este tópico neste site, a principal distinção parece ser: Variáveis ​​latentes não são observadas, mas têm uma distribuição de …

13 bayesian  modeling  random-variable  latent-variable 

Eu sei que a seleção de recursos e a redução de dimensionalidade visam reduzir o número de recursos no conjunto original de recursos. Qual é a diferença exata entre os dois se estivermos fazendo a mesma coisa nos dois?

13 machine-learning  pca  feature-selection  dimensionality-reduction 

No modelo y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon , podemos estimar ββ\beta usando a equação normal: β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,e poderíamos obter y =X β .y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. O vetor de resíduos é estimado por ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q …

13 regression  least-squares  inference 

Posso usar gráficos de caixa e bigode também para distribuição multimodal ou apenas para distribuição unimodal?

13 distributions  data-visualization  boxplot