Estatísticas e Big Data

Quero assumir que a temperatura da superfície do mar no Mar Báltico é a mesma ano após ano e depois descrevê-la com um modelo de função / linear. A idéia que tive foi apenas inserir o ano como um número decimal (ou num_months / 12) e descobrir qual deveria ser …

37 r  regression  time-series  lm 

Ao fazer pesquisas em economia, é necessário freqüentemente verificar conclusões teóricas sobre dados reais. Quais são as fontes de dados confiáveis ​​para usar e citar? Estou interessado principalmente em fontes que fornecem vários dados estatísticos, como PIB, população, IPC, IPP, etc. EDIT: Aqui está uma agregação dos links que aparecem …

37 references 

Hoje, no Cross Validated Journal Club (por que você não estava lá?), A @mbq perguntou: Você acha que nós (cientistas modernos de dados) sabemos o que significa significado? E como isso se relaciona com a nossa confiança em nossos resultados? @Michelle respondeu como alguns (inclusive eu) costumam fazer: Estou achando …

37 hypothesis-testing  p-value  large-data 

As redes neurais são frequentemente tratadas como "caixas pretas" devido à sua estrutura complexa. Isso não é ideal, pois geralmente é benéfico ter uma compreensão intuitiva de como um modelo está funcionando internamente. Quais são os métodos para visualizar como uma rede neural treinada está funcionando? Como alternativa, como podemos …

37 data-visualization  neural-networks 

Percebo que existem muitas diferenças formais entre as medidas de distância Kullback – Leibler vs Kolmogorov-Smirnov. No entanto, ambos são usados ​​para medir a distância entre distribuições. Existe uma situação típica em que um deve ser usado em vez do outro? Qual é a justificativa para fazer isso?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Espero que alguém possa explicar, em termos leigos, o que é uma função característica e como é usada na prática. Eu li que é a transformação de Fourier do pdf, então acho que sei o que é, mas ainda não entendo seu propósito. Se alguém pudesse fornecer uma descrição intuitiva …

37 probability  mathematical-statistics  characteristic-function 

Suponha que é uma variável aleatória com pdf . Então a variável aleatória tem o pdfXXXfX(x)fX(x)f_X(x)Y=X2Y=X2Y=X^2 fY(y)={12y√(fX(y√)+fX(−y√))0y≥0y<0fY(y)={12y(fX(y)+fX(−y))y≥00y<0f_Y(y)=\begin{cases}\frac{1}{2\sqrt{y}}\left(f_X(\sqrt{y})+f_X(-\sqrt{y})\right) & y \ge 0 \\ 0 & y \lt 0\end{cases} Eu entendo o cálculo por trás disso. Mas estou tentando pensar em uma maneira de explicar isso para alguém que não conhece cálculo. …

37 random-variable  pdf  intuition 

Eu tenho um curso de Aprendizado de Máquina neste semestre e o professor nos pediu para encontrar um problema do mundo real e resolvê-lo por um dos métodos de aprendizado de máquina introduzidos na classe, como: Árvores de decisão Redes neurais artificiais Máquinas de vetores de suporte Aprendizagem baseada em …

37 machine-learning 

Estou procurando algumas desigualdades de probabilidade para somas de variáveis ​​aleatórias ilimitadas. Eu realmente aprecio isso se alguém puder me fornecer alguns pensamentos. Meu problema é encontrar um limite superior exponencial acima da probabilidade de que a soma das variáveis ​​aleatórias do iid ilimitadas, que são de fato a multiplicação …

37 probability  mathematical-statistics  probability-inequalities  mgf 

Eu tenho 2 perguntas simples sobre regressão linear: Quando é aconselhável padronizar as variáveis ​​explicativas? Uma vez que a estimativa é realizada com valores padronizados, como se pode prever com novos valores (como se deve padronizar os novos valores)? Algumas referências seriam úteis.

37 regression  predictive-models  references  standardization  predictor 

Houve algumas perguntas sobre livros didáticos de estatística , como a pergunta Livros didáticos de estatística gratuitos . No entanto, estou procurando livros didáticos de código aberto, por exemplo, com uma licença Creative Commons . O motivo é que, no material do curso em outros domínios, você ainda deseja incluir …

37 references  open-source 

Como alguém de fora, parece que existem duas visões concorrentes sobre como se deve executar inferência estatística. Os dois métodos diferentes são considerados válidos pelos estatísticos que trabalham? A escolha de uma é considerada mais uma questão filosófica? Ou a situação atual é considerada problemática e estão sendo feitas tentativas …

37 bayesian  frequentist 

Como afirma a pergunta - É possível provar a hipótese nula? Do meu entendimento (limitado) da hipótese, a resposta é não, mas não posso apresentar uma explicação rigorosa para ela. A pergunta tem uma resposta definitiva?

37 hypothesis-testing  proof  equivalence 

Em todos os contextos, eu estou familiarizado com a validação cruzada, que é usada apenas com o objetivo de aumentar a precisão preditiva. A lógica da validação cruzada pode ser estendida na estimativa das relações imparciais entre variáveis? Embora este artigo de Richard Berk demonstre o uso de uma amostra …

37 cross-validation  causality 

Eu construí uma regressão logística em que a variável de resultado está sendo curada após o tratamento ( Curevs. No Cure). Todos os pacientes deste estudo receberam tratamento. Estou interessado em ver se o diabetes está associado a esse resultado. Em R, minha saída de regressão logística é a seguinte: …

37 r  hypothesis-testing  logistic  generalized-linear-model  odds-ratio