Isso foi inspirado pela regressão linear online eficiente , que achei muito interessante. Existem textos ou recursos dedicados à computação estatística em larga escala, pelos quais a computação com conjuntos de dados grandes demais para caber na memória principal e talvez variada demais para subamostrar com eficácia. Por exemplo, é possível ajustar modelos de efeitos mistos de maneira online? Alguém já examinou os efeitos da substituição das técnicas padrão de otimização de 2ª ordem do MLE por técnicas do tipo SGD de 1ª ordem?
Eu acho que a resposta é sim". Claro, há um pouco de uma questão de definições aqui. O que uma pessoa considera "em larga escala" às vezes é muito diferente da outra. Minha impressão é que, por exemplo, muitos pesquisadores acadêmicos consideram o conjunto de dados do Netflix "em larga escala", enquanto em muitos ambientes industriais ele seria considerado "insignificante". No que diz respeito às técnicas de estimativa, geralmente com dados muito grandes, a eficiência computacional supera a eficiência estatística. Por exemplo, o método dos momentos, em muitos casos, executará (quase) o MLE nessas configurações e pode ser muito mais fácil de calcular.
—
cardeal
você também pode consultar o Workshop sobre algoritmos para conjuntos de dados maciços modernos (MMDS). É jovem, mas atrai um conjunto impressionante de alto-falantes nas interfaces de estatística, engenharia e ciência da computação, bem como entre a academia e a indústria.
—
cardeal
Faz apenas algumas décadas desde que a maioria dos conjuntos de dados era grande demais para caber na memória principal, e a escolha dos algoritmos usados nos primeiros programas estatísticos refletiu isso. Esses programas não tinham instalações para modelos de efeitos mistos.
—
onestop
Você é capaz de calcular estatísticas para o conjunto de dados? digamos, por exemplo, a soma ou média dos itens de dados?
—
probabilityislogic