Estatísticas e Big Data

Eu estou usando um script. É para registros principais. Eu tenho um quadro de dados que mostra as diferentes composições elementares nas colunas em uma determinada profundidade (na primeira coluna). Quero executar um PCA com ele e estou confuso sobre o método de padronização que tenho que escolher. Alguém de …

13 r  pca  normalization  compositional-data 

Ultimamente, tive que ler vários artigos em economia (um campo com o qual não estou muito familiarizado). Uma coisa que eu notei é que, mesmo quando a variável de resposta é binária, os modelos de regressão linear ajustados usando OLS são onipresentes. Minha pergunta é, portanto: Por que a regressão …

13 regression  logistic  econometrics 

Estamos lidando com a distribuição lognormal em um curso de finanças e meu livro apenas afirma que isso é verdade, o que acho frustrante, pois meus conhecimentos em matemática não são muito fortes, mas quero a intuição. Alguém pode me mostrar por que esse é o caso?

13 distributions  expected-value  lognormal 

Portanto, sabemos que a pesquisa aleatória funciona melhor que a pesquisa em grade, mas uma abordagem mais recente é a otimização bayesiana (usando processos gaussianos). Procurei uma comparação entre os dois e não encontrei nada. Eu sei que no cs231n de Stanford eles mencionam apenas pesquisa aleatória, mas é possível …

13 bayesian  hyperparameter 

Douglas Bates afirma que os seguintes modelos são equivalentes "se a matriz de variância-covariância para efeitos aleatórios com valor vetorial tiver uma forma especial, chamada simetria composta" ( slide 91 desta apresentação ): m1 <- lmer(y ~ factor + (0 + factor|group), data) m2 <- lmer(y ~ factor + (1|group) …

13 r  anova  mixed-model  repeated-measures  lme4-nlme 

Eu estava lendo esta pergunta sobre regressão em larga escala ( link ), onde whuber apontou um ponto interessante da seguinte maneira: "Quase qualquer teste estatístico que você executa será tão poderoso que é quase certo identificar um efeito" significativo ". Você precisa se concentrar muito mais na importância estatística, …

13 regression  statistical-significance 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Essa linha retorna as 4 primeiras linhas no quadro de dados combinedparafeature_a combined.iloc[0:4]["feature_a"] Como esperado, …

13 python  pandas 

Eu queria saber quanto do aprendizado de máquina requer otimização. Pelo que ouvi, estatísticas é um tópico matemático importante para pessoas que trabalham com aprendizado de máquina. Da mesma forma, qual é a importância de alguém que trabalha com aprendizado de máquina para aprender sobre otimização convexa ou não convexa?

13 machine-learning  optimization 

Estou confuso entre os dois termos "função geradora de probabilidade" e "função geradora de momento". Como esses termos diferem?

13 probability  distributions  terminology  intuition  mgf 

Eu me sinto muito idiota mesmo fazendo uma pergunta tão básica, mas aqui vai: Se eu tiver uma variável aleatória XXX que podem assumir valores 000 e 111 , com P(X=1)=pP(X=1)=pP(X=1) = p e P(X=0)=1−pP(X=0)=1−pP(X=0) = 1-p , então se eu desenhar nnn amostras fora dele, eu vou chegar uma …

13 variance  binomial 

Atualmente, meu empregador está realizando uma pesquisa ampla sobre as atitudes em relação ao escritório, ou seja, sentimentos. No passado, eles abriram a pesquisa para todas as áreas da empresa (vamos assumir 10 departamentos muito diferentes) e para todos os funcionários (assumir 1000 funcionários no total em toda a empresa) …

13 survey  survey-sampling 

Encontrei uma prova de uma das propriedades do modelo ARCH que diz que, se , { X t } é estacionário se f ∑ p i = 1 b i &lt; 1 em que o modelo ARCH é:E(X2t)&lt;∞E(Xt2)&lt;∞\mathbb{E}(X_t^2) < \infty{Xt}{Xt}\{X_t\}∑pi=1bi&lt;1∑i=1pbi&lt;1\sum_{i=1}^pb_i < 1 Xt=σtϵtXt=σtϵtX_t = \sigma_t\epsilon_t σ2t=b0+b1X2t−1+...bpX2t−pσt2=b0+b1Xt−12+...bpXt−p2\sigma_t^2 = b_0 + b_1X_{t-1}^2 …

13 mathematical-statistics  stationarity  garch 

Uma norma é única (pelo menos em parte) porque está no limite entre não convexo e convexo. Uma norma é a norma convexa 'mais esparsa' (certo?).L1L1L_1p=1p=1p=1L1L1L_1 Entendo que a norma euclidiana tem raízes na geometria e tem uma interpretação clara quando as dimensões têm as mesmas unidades. Mas não entendo …

13 regression  regularization  sparse 

Digamos que temos um problema de classificação binária com recursos principalmente categóricos. Usamos algum modelo não linear (por exemplo, XGBoost ou Random Forests) para aprendê-lo. Ainda se deve preocupar com a multicolinearidade? Por quê? Se a resposta acima for verdadeira, como combatê-la, considerando que estamos usando esses tipos de modelos …

13 classification  random-forest  multicollinearity  xgboost 

No artigo de 2015 da DeepMind sobre aprendizado profundo por reforço, ele afirma que "as tentativas anteriores de combinar RL com redes neurais falharam amplamente devido ao aprendizado instável". O artigo lista algumas causas disso, com base nas correlações entre as observações. Por favor, alguém poderia explicar o que isso …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning