Estatísticas e Big Data

Eu tenho dados brutos que possuem cerca de 20 colunas (20 recursos). Dez deles são dados contínuos e 10 deles são categóricos. Alguns dos dados categóricos podem ter 50 valores diferentes (Estados dos EUA). Depois que eu pré-processo os dados, as 10 colunas contínuas se tornam 10 colunas preparadas e …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

Eu sei que na regressão linear a variável de resposta deve ser contínua, mas por que isso acontece? Não consigo encontrar nada online que explique por que não consigo usar dados discretos para a variável de resposta.

13 regression  linear 

Como eu tenho certeza que todos aqui já sabem, o PDF da distribuição Beta é fornecido porX∼B(a,b)X∼B(a,b)X \sim B(a,b) f(x)=1B(a,b)xa−1(1−x)b−1f(x)=1B(a,b)xa−1(1−x)b−1f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1} Eu tenho procurado em todo o lugar por uma explicação das origens dessa fórmula, mas não consigo encontrá-la. Todos os artigos que encontrei na distribuição Beta parecem fornecer …

13 probability  mathematical-statistics  pdf  beta-distribution  history 

Pelo que entendi, a seleção de variáveis ​​com base em valores-p (pelo menos no contexto de regressão) é altamente falha. Parece que a seleção de variáveis ​​com base no AIC (ou similar) também é considerada defeituosa por alguns, por razões semelhantes, embora isso pareça um pouco obscuro (por exemplo, veja …

13 hypothesis-testing  multiple-regression  feature-selection  model-selection  aic 

Eu estou procurando uma referência onde está provado que a média harmônica x¯h= n∑ni = 11xEux¯h=n∑Eu=1n1xEu\bar{x}^h = \frac{n}{\sum_{i=1}^n \frac{1}{x_i}} minimiza (em ) a soma dos erros relativos ao quadradozzz ∑i = 1n( ( xEu- z)2xEu) .∑Eu=1n((xEu-z)2xEu).\sum_{i=1}^n \left( \frac{(x_i - z)^2}{x_i}\right).

13 references  mean  error  weighted-regression  harmonic-mean 

Estou construindo modelos ARIMA para alguns dados de vento / ondas. Estou construindo um modelo separado para cada variável. Duas das variáveis ​​que eu preciso modelar são a direção da onda e do vento. Os valores estão em graus (0-360 °). É possível modelar esse tipo de dados em que …

13 time-series  arima  circular-statistics 

Pouco histórico Estou trabalhando na interpretação da análise de regressão, mas fico realmente confuso sobre o significado de r, r ao quadrado e desvio padrão residual. Conheço as definições: Caracterizações r mede a força e a direção de uma relação linear entre duas variáveis ​​em um gráfico de dispersão O …

13 r  regression  regression-coefficients  linear  pearson-r 

Qual é a fórmula (aproximada ou exata) para um intervalo de previsão para uma variável aleatória binomial? Suponha Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p) , e observa- (desenhado a partir de ). O é conhecido.Y nyyyYYYnnn O nosso objectivo é a obtenção de um intervalo de previsão de 95% para um novo …

13 confidence-interval  binomial  prediction-interval 

Objetivo Confirme se o entendimento da KKT está correto ou não. Procure mais explicações e confirmações na KKT. fundo Tentando entender as condições KKT, especialmente a complementar, que sempre aparece do nada nos artigos SVM. Não preciso de uma lista de fórmulas abstratas, mas de uma explicação concreta, intuitiva e …

13 svm  optimization  lagrange-multipliers 

Estou obtendo alguns resultados desconcertantes para a correlação de uma soma com uma terceira variável quando os dois preditores estão correlacionados negativamente. O que está causando esses resultados desconcertantes? Exemplo 1: Correlação entre a soma de duas variáveis ​​e uma terceira variável Considere a fórmula 16.23 na página 427 do …

13 correlation  multiple-regression 

No problema específico em que trabalho (uma competição), tenho a seguinte configuração: 21 recursos (numéricos em [0,1]) e uma saída binária. Eu tenho aproximadamente 100 mil linhas. A configuração parece ser muito barulhenta. Eu e outros participantes aplicamos a geração de recursos por um tempo e a incorporação estocástica de …

13 machine-learning  dimensionality-reduction  unsupervised-learning  tsne 

\newcommand{\diag}{\operatorname{diag}} Temos o problema: supondo que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Existe uma solução fechada neste caso? Eu tenho isso: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), e , portanto, acho que a resposta …

13 mathematical-statistics  lasso  computational-statistics  regularization 

Eu li alguns artigos sobre imagens manualmente inventadas para "enganar" uma rede neural (veja abaixo). Isso ocorre porque as redes modelam apenas a probabilidade condicional p ( y| x)p(y|x)p(y|x) ? Se uma rede puder modelar a probabilidade conjunta p ( y, X )p(y,x)p(y,x) , esses casos ainda ocorrerão? Meu palpite …

13 machine-learning  neural-networks  deep-learning 

Estou tentando entender se a transformada de Fourier discreta fornece a mesma representação de uma curva que uma regressão usando a base de Fourier. Por exemplo, library(fda) Y=daily$tempav[,1] ## my data length(Y) ## =365 ## create Fourier basis and estimate the coefficients mybasis=create.fourier.basis(c(0,365),365) basisMat=eval.basis(1:365,mybasis) regcoef=coef(lm(Y~basisMat-1)) ## using Fourier transform fftcoef=fft(Y) …

13 fourier-transform  functional-data-analysis 

Pesquisei no Google, Wikipedia, Google Scholar e mais, mas não consegui encontrar a origem dos Autoencoders. Talvez seja um desses conceitos que evoluiu muito gradualmente, e é impossível traçar um ponto de partida claro, mas ainda assim eu gostaria de encontrar algum tipo de resumo das principais etapas de seu …

13 neural-networks  autoencoders  history