Estatísticas e Big Data

Dado um conjunto de instâncias. Para cada instância, eu tenho um vetor de recurso que consiste em (numéricos) recursos ( , , ..., ), n >> m. Além disso, para cada instância, tenho uma pontuação numérica (observável). Eu gostaria de:nnnmmmx1 1x1 1x_1x2x2x_2xmxmx_myyy descubra qual subconjunto de recursos, ou sua combinação …

7 machine-learning  classification  supervised-learning 

Estou interessado na relação entre duas variáveis de série temporal: e . As duas variáveis ​​estão relacionadas entre si, e não está claro pela teoria qual delas causa a outra. YYYXXX Dado isso, não têm boas razões para preferir a regressão linear Y= α + βXY=α+βX Y = \alpha + …

7 regression  regression-coefficients 

Suponha que eu tenha uma estatística e sei com certeza que não é suficiente estimar um parâmetro .T(X)T(X)T(X)θθ\theta Ainda é possível ter um estimador que seja eficiente (com perda convexa) ou existe um teorema (algo como um Rao-Blackwell reverso) que diz que isso é impossível?θ^(T(X))θ^(T(X))\hat\theta(T(X)) Você pode responder à pergunta …

7 estimators  sufficient-statistics  efficiency 

Duas variáveis ​​não correlacionadas não são necessariamente independentes, como é simplesmente exemplificado pelo fato de e não serem correlacionados, mas não independentes. No entanto, duas variáveis ​​não correlacionadas e distribuídas em conjunto normalmente são garantidas como independentes. Alguém pode explicar intuitivamente por que isso é verdade? O que exatamente a …

7 correlation  normal-distribution  independence  joint-distribution  intuition 

Tenho uma série temporal um tanto barulhenta que paira em diferentes níveis. Por exemplo, os seguintes dados: Eu tenho os dados de linha sólida disponíveis e gostaria de obter uma estimativa para a linha tracejada. Deve ser constante por partes. Quais algoritmos são apropriados para testar aqui? Até agora, minhas …

7 r  time-series  smoothing 

Seja sejam variáveis ​​aleatórias de densidadeX1 1,X2, ... ,XnX1 1,X2,…,XnX_1,X_2,\ldots,X_n f( x ) = 2 ( 1 - x )1 10 &lt; x &lt; 1f(x)=2(1 1-x)1 10 0&lt;x&lt;1 1f(x)=2(1-x)\mathbf1_{0<x<1} Estou tentando derivar a distribuição do intervalo de amostra .R =X( N )-X( 1 )R=X(n)-X(1 1)R=X_{(n)}-X_{(1)} A maneira usual de resolver …

7 distributions  mathematical-statistics  beta-distribution  order-statistics 

Estimei os parâmetros de regressão de um modelo de regressão linear usando o LASSO, enviei algumas variáveis ​​para zero usando a validação cruzada e agora obtive um modelo final. Sabe-se que a regularização induz viés nas variáveis ​​ativas, mas é um bom preço a pagar para se livrar de variáveis …

7 regression  lasso  regularization 

Seja uma amostra aleatória de uma distribuição normal com média e variância . Considere o problema de estimar .X1 1,X2, ... ,XnX1,X2,…,XnX_1, X_2, \ldots, X_nμμ\muσ2σ2\sigma^2P( X&gt; 100 )P(X&gt;100)P(X > 100) Uma maneira de conseguir isso é calcular . Esse estimador de "plug-in" é consistente, e seu viés e MSE são …

7 mathematical-statistics  normal-distribution  estimation  maximum-likelihood 

Este é um problema de classificação binária. A métrica que está sendo minimizada é a perda de log (ou entropia cruzada). Eu também tenho um número de precisão, apenas para minhas informações. É um conjunto de dados grande e muito equilibrado. Técnicas de previsão muito ingênuas obtêm cerca de 50% …

7 machine-learning  prediction  boosting 

Estou tentando estimar a pontuação média para dois grupos de estudantes. Eu uso um modelo de regressão binomial. Essa total_ansé a pergunta total que eles responderam, que podem ser diferentes para diferentes alunos. O modelo 1 estima diretamente model &lt;- glm(cbind(total_correct, total_ans-total_correct) ~ student_type,family= binomial, data = df) Call: glm(formula …

7 generalized-linear-model  lme4-nlme  random-effects-model  lsmeans 

Estou tentando entender o artigo da openAI chamado Multi-Agent Actor-Critic for Ambients Mixed Cooperative-Competitive No artigo, eles mencionam que combatem o problema da não estacionariedade do ambiente por amostragem de sub-políticas: Estou confuso sobre: ​​(1) como a subamostragem resolveria o problema da não estacionariedade e (2) por que os agentes …

7 machine-learning  deep-learning  reinforcement-learning 

Para ilustrar o que quero dizer, considere o seguinte cenário hipotético: O número favorito de uma pessoa x ∈ [ - 1 , 1 ]x∈[−1,1]x\in[-1,1] é distribuído aleatoriamente com função de densidade sem átomos f( X )f(x)f(x). Além disso, suponha que essa pessoa (depois de perceber qual o seu número …

7 probability  bayesian  measure-theory 

No ensino de estatística descritiva, as medidas de tendência central surgem desde o início, por exemplo, antes das medidas de propagação. Para mim, é natural o suficiente aprender sobre a tendência central, ou localização, dos dados antes de aprender muitas outras propriedades, mas isso pode ser decorrente de como fui …

7 descriptive-statistics  teaching  central-tendency 

Considere um modelo com um parâmetro de interesse, , e seu estimador de pontos, . Para simplificar, suponha (em vários casos, isso pode ser justificado assintoticamente). Existem duas maneiras de construir um intervalo que passa a ser o menor intervalo de confiança possível .θθ\thetaθ^θ^\hat\thetaθ^∼N(θ,σ2/n)θ^∼N(θ,σ2/n)\hat\theta\sim N(\theta,\sigma^2/n)(1−α)(1 1-α)(1-\alpha) Para qualquer valor verdadeiro …

7 confidence-interval  likelihood  credible-interval 

Meu local de trabalho está enfrentando um desafio de código de duas semanas que envolve a produção de um algoritmo para reproduzir 100 amostras de pinturas de Bob Ross o mais próximo possível, dadas algumas restrições: As "pinturas" são enviadas como um arquivo JSON contendo uma cor de fundo e …

7 reinforcement-learning  generative-models