Estatísticas e Big Data

Faria sentido exagerar um modelo de propósito? Digamos que eu tenha um caso de uso em que eu saiba que os dados não variarão muito em relação aos dados de treinamento. Estou pensando aqui na previsão de tráfego, em que o status do tráfego segue um conjunto fixo de padrões …

8 machine-learning  time-series  forecasting  prediction  overfitting 

Baseado na árvore de aumento de gradiente vs floresta aleatória . GBDT e RF usando estratégias diferentes para lidar com tendências e variações. Minha pergunta é: posso alterar a amostra do conjunto de dados (com substituição) para treinar vários GBDT e combinar suas previsões como resultado final? É equivalente a …

8 random-forest  cart  boosting  bagging  gradient 

Digamos que temos o seguinte quadro de dados: TY_MAX 141 1.004622 142 1.004645 143 1.004660 144 1.004672 145 1.004773 146 1.004820 147 1.004814 148 1.004807 149 1.004773 150 1.004820 151 1.004814 152 1.004834 153 1.005117 154 1.005023 155 1.004928 156 1.004834 157 1.004827 158 1.005023 159 1.005248 160 1.005355 25th: …

8 quantiles  statsmodels 

A versão resumida da minha pergunta (26 de dezembro de 2018) Estou tentando reproduzir a Figura 2.2 da Inferência Estatística da Era do Computador de Efron e Hastie, mas por alguma razão que não sou capaz de entender, os números não são correspondentes aos do livro. Suponha que estamos tentando …

8 self-study  python  likelihood-ratio  neyman-pearson-lemma 

Fechado . Esta pergunta precisa de detalhes ou clareza . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Adicione detalhes e esclareça o problema editando esta postagem . Fechado há 2 anos . Desculpas se este é o lugar errado para perguntar. mas estou tentando explicar a um …

8 mathematical-statistics  descriptive-statistics  validity 

Versão curta Estou tentando resolver / aproximar analiticamente a probabilidade composta que resulta de desenhos independentes de Poisson e de amostras adicionais com ou sem substituição (eu realmente não me importo com qual). Quero usar a probabilidade com o MCMC (Stan), portanto, preciso da solução apenas até um termo constante. …

8 mathematical-statistics  poisson-distribution  joint-distribution  approximation 

Digamos que temos duas moedas tendenciosas C1e C2ambas têm probabilidade diferente de virar a cabeça. Nós jogamos C1 n1tempos e temos H1cabeças, C2 n2tempos e H2cabeças. E descobrimos que a proporção de cabeças para uma moeda é maior que a outra. Qual é a probabilidade com que podemos dizer que …

8 probability  bernoulli-distribution 

Considere uma família de distribuições com PDF (até uma constante de proporcionalidade) dada por Como é chamado? Se não tiver um nome, como você o chamaria?p ( x ) ∼ 1( 1 + α x2)1 / α.p(x)∼1(1+αx2)1/α.p(x)\sim \frac{1}{(1+\alpha x^2)^{1/\alpha}}. Parece bastante semelhante à família de distribuições com PDF proporcional a …

8 distributions  terminology  t-distribution  tsne  cauchy 

Uma função de caixa preta , que é avaliada pontualmente, sujeita a ruído gaussiano, ou seja, f ( x ) + N ( μ ( x ) , σ ( x ) 2 ) , pode ser minimizada usando a otimização bayesiana onde um gaussiano Processo é usado como um …

8 bayesian  optimization  bayesian-optimization 

Em outra parcela de intuições para identidades em probabilidade, considere a identidade elementar Lei da Variância Total Var(X)=E[Var(X|Y)]+Var(E[X|Y])Var(X)=E[Var(X|Y)]+Var(E[X|Y]) \begin{eqnarray} \rm{Var}(X) &=&\rm{E}[\rm{Var}(X|Y)] + \rm{Var}(E[X|Y]) \end{eqnarray} É uma manipulação algébrica simples e direta da definição de momentos em soma, ou, como no link da Wikipedia, através da manipulação de E e Var. …

8 variance  intuition 

Frequentemente, na literatura, os autores têm se interessado em encontrar a distribuição estacionária de um processo de série temporal. Por exemplo, considere o seguinte processo simples AR ( ) : que .{ X t } X t = α X t - 1 + e t , e t i …

8 distributions  markov-process  stationarity  autoregressive  intuition 

Eu sou médico, por favor, seja gentil comigo e com meu entendimento básico de estatística. Eu tenho um conjunto de dados composto por pacientes e suas visitas e identifiquei a presença de um tipo específico de toupeira na mão esquerda e / ou direita com valores {0,1} (0 = não …

8 probability  incidence-rate-ratio 

Quais são alguns dos trabalhos teóricos significativos atuais que foram realizados no campo da inferência assintótica / teoria das grandes amostras? Qual é o escopo da pesquisa neste campo agora? Existe algum problema em aberto ou áreas específicas em que a teoria está se desenvolvendo nos últimos tempos? Ou é …

8 mathematical-statistics  references  inference  asymptotics 

Os problemas estatísticos que envolvem intervalos de confiança para uma média da população podem ser enquadrados em termos da seguinte função de ponderação : w(α,n)≡tn−1,α/2n−−√for 0&lt;α&lt;1 and n&gt;1.w(α,n)≡tn−1,α/2nfor 0&lt;α&lt;1 and n&gt;1.w(\alpha, n) \equiv \frac{t_{n-1,\alpha/2}}{\sqrt{n}} \quad \quad \quad \quad \text{for } 0<\alpha<1 \text{ and } n > 1. Por exemplo, o …

8 mathematical-statistics  t-distribution 

Estou analisando várias medidas de desempenho para modelos preditivos. Muito foi escrito sobre problemas no uso da precisão, em vez de algo mais contínuo para avaliar o desempenho do modelo. Frank Harrell http://www.fharrell.com/post/class-damage/ fornece um exemplo ao adicionar uma variável informativa a um modelo, levando a uma queda na precisão, …

8 machine-learning  predictive-models  accuracy