Estatísticas e Big Data

Alguém pode explicar como as propriedades dos logs o fazem para que você possa fazer regressões lineares de log em que os coeficientes são interpretados como alterações percentuais?

43 regression  logarithm  mathematical-statistics 

Meu professor de estatística disse basicamente que, se receber um dos três seguintes, você poderá encontrar os outros dois: Função de distribuição cumulativa Função Geradora de Momento Função densidade de probabilidade Mas meu professor de econometria disse que os CDFs são mais fundamentais que os PDFs, porque há exemplos em …

43 probability  pdf  cdf  mgf 

Eu tenho um hash SHA256 de 64 caracteres. Espero treinar um modelo que possa prever se o texto simples usado para gerar o hash começa com 1 ou não. Independentemente de se isso for "Possível", qual algoritmo seria a melhor abordagem? Meus pensamentos iniciais: Gere uma grande amostra de hashes …

43 machine-learning  logistic 

Estou imaginando o que podemos dizer, se é que alguma coisa, sobre a população significa, quando tudo o que tenho é uma medida, (tamanho da amostra 1). Obviamente, adoraríamos ter mais medidas, mas não podemos obtê-las.y 1μμ\muy1 1y1y_1 Parece-me que, como a média da amostra, , é trivialmente igual a …

43 mean  sample-size  small-sample  unbiased-estimator 

Estou tentando adicionar uma camada softmax a uma rede neural treinada com retropropagação, então estou tentando calcular seu gradiente. A saída do softmax é hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} , ondejjjé o número de neurónios de saída. Se eu der, então eu recebo ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Semelhante à regressão logística. No entanto, isso está …

43 neural-networks 

Eu sou uma espécie de floresta aleatória, então ainda estou lutando com alguns conceitos básicos. Na regressão linear, assumimos observações independentes, variação constante… Quais são as suposições / hipóteses básicas que fazemos quando usamos floresta aleatória? Quais são as principais diferenças entre floresta aleatória e bayes ingênuos em termos de …

43 regression  classification  random-forest 

Entendo que a definição básica de endogeneidade é que não está satisfeito, mas o que isso significa no sentido do mundo real? Eu li o artigo da Wikipedia, com o exemplo de oferta e demanda, tentando entender o sentido, mas não ajudou muito. Ouvi a outra descrição de endógena e …

43 regression  causality  instrumental-variables 

Considero o problema da classificação (multiclasse) com base em séries temporais de comprimento variável , ou seja, para encontrar uma função através de uma representação global da série temporal por um conjunto de recursos selecionados de tamanho fixo independente de , e use métodos de classificação padrão neste conjunto de …

43 time-series  classification  feature-selection  signal-processing 

Eu tenho duas séries temporais, mostradas na plotagem abaixo: O gráfico mostra os detalhes completos das duas séries temporais, mas posso reduzi-lo facilmente a apenas as observações coincidentes, se necessário. Minha pergunta é: Quais métodos estatísticos posso usar para avaliar as diferenças entre as séries temporais? Sei que essa é …

43 r  time-series 

Existem vários tópicos neste site que discutem como determinar se os resíduos do OLS são normalmente distribuídos normalmente assintoticamente . Outra maneira de avaliar a normalidade dos resíduos com o código R é fornecida nesta excelente resposta . Esta é outra discussão sobre a diferença prática entre resíduos padronizados e …

43 regression  least-squares  residuals  assumptions  normality-assumption 

Gostaria de saber se alguém conhece um compêndio de técnicas de validação cruzada com uma discussão das diferenças entre eles e um guia sobre quando usar cada um deles. A Wikipedia possui uma lista das técnicas mais comuns, mas estou curioso para saber se existem outras técnicas e se existem …

43 cross-validation 

Estou procurando uma maneira de gerar números aleatórios que pareçam ser distribuídos uniformemente - e todos os testes mostrarão que eles são uniformes - exceto que eles são distribuídos de maneira mais uniforme que os dados uniformes verdadeiros . O problema que tenho com os randoms uniformes "verdadeiros" é que …

43 distributions  random-generation  uniform  quasi-monte-carlo 

Ao dar uma aula de nível introdutório, os professores que conheço tendem a inventar alguns números e uma história para exemplificar o método que estão ensinando. O que eu preferiria é contar uma história real com números reais. No entanto, essas histórias precisam estar relacionadas a um conjunto de dados …

43 dataset  references  teaching 

Para alguns de nós, a arbitragem de papéis faz parte do trabalho. Ao revisar artigos de metodologia estatística, acho que conselhos de outras áreas são bastante úteis, como ciência da computação e matemática . Esta questão diz respeito à revisão de artigos estatísticos mais aplicados. Com isso, quero dizer, o …

43 journals  referee 

A diferença nas diferenças há muito é popular como uma ferramenta não experimental, especialmente em economia. Alguém pode fornecer uma resposta clara e não técnica para as seguintes perguntas sobre diferença de diferença. O que é um estimador de diferença de diferença? Por que um estimador de diferença de diferença …

43 regression  econometrics  difference-in-difference