Estatísticas e Big Data

Portanto, há desvio padrão, variância e covariância, mas existe um desvio padrão? Se não, por que não? Existe uma razão matemática fundamental ou é apenas uma convenção? Em caso afirmativo, por que não é usado mais ou pelo menos é realmente difícil de encontrar usando as pesquisas do Google? Não …

8 variance  standard-deviation  covariance-matrix 

Algum de nossos especialistas em Monte Carlo pode explicar a expectativa "inesperada" ao final desta resposta ? Resumo ex post facto da outra pergunta / resposta: se são variáveis ​​aleatórias do IID e as expectativas existem, então um argumento simples de simetria mostra que , mas um experimento de Monte …

8 probability  simulation  expected-value  monte-carlo 

Você conhece uma referência ou nome para a seguinte maneira de investigar se uma técnica de modelagem complexa é tendenciosa?TTT Aplique ao conjunto de dados original. Meça seu desempenho (por exemplo, R ao quadrado na configuração de regressão).TTT Permita aleatoriamente a variável de resposta para obter um novo conjunto de …

8 terminology  bias  validation  permutation-test 

Se as redes neurais profundas são consideradas aproximadores de funções universais, a expansão de bases é realmente necessária? Ou isso seria específico do caso? Por exemplo, se alguém tiver três variáveis ​​X quantitativas, haveria alguma vantagem em expandir o número de variáveis ​​introduzindo interações, polinômios etc.? Isso parece ter uma …

8 neural-networks  deep-learning  feature-construction 

Suponha que tenhamos um teste composto por 30 perguntas e 10 pessoas o façam. A pontuação média do teste dessas 10 pessoas é 17 e o desvio padrão de todas as pontuações da amostra é 4. Ao relatar as estatísticas descritivas na escola, usamos essas pontuações brutas e escrevemos ( …

8 mean  standard-deviation  percentage 

Em todos os papéis florestais aleatórios (de regressão) que li, quando chega a hora de reunir as previsões de todas as árvores, tomamos o valor médio como previsão. Minha pergunta é por que fazemos isso? Existe uma justificativa estatística para obter a média? EDIT: Para esclarecer a questão, eu sei …

8 regression  random-forest  ensemble 

Meu problema é o seguinte: tenho um conjunto de preditores de que cada um produz uma distribuição em um conjunto de classes. O que eu gostaria de fazer é primeiro ter um prévio não informativo sobre a aparência dessa distribuição de rótulos e depois atualizá-lo com a previsão de cada …

8 bayesian  ensemble  dirichlet-distribution 

Eu entendo alguns dos muitos problemas da regressão gradual. No entanto, como empreendimento acadêmico, suponha que eu queira usar a regressão gradual para um modelo preditivo, e quero entender melhor os impactos que isso pode ter no desempenho. Dado um modelo linear, por exemplo, a execução de regressão gradual no …

8 regression  predictive-models  stepwise-regression 

Às vezes, diz-se que a regressão quantílica (QR) revela diferentes relações entre variáveis ​​em diferentes quantis da distribuição. Por exemplo, Le Cook et al. "Pensando além da média: um guia prático para o uso de métodos de regressão quantílica para pesquisa em serviços de saúde" implica que o QR permita …

8 interpretation  quantile-regression 

Nos cursos mais básicos da teoria das probabilidades, as funções geradoras de momento relatado (mgf) são úteis para calcular os momentos de uma variável aleatória. Em particular a expectativa e variação. Agora, na maioria dos cursos, os exemplos que eles fornecem para expectativa e variação podem ser resolvidos analiticamente usando …

8 probability  distributions  mathematical-statistics  mgf  method-of-moments 

Esta é uma pergunta sobre o teste t no SPSS. Eu tenho dois grupos e quero testar se as duas médias são iguais. Estou usando o teste t com bootstrapping. No final, obtive um valor p <0,005, o que geralmente me levaria a rejeitar a hipótese nula de que as …

8 confidence-interval  t-test  p-value  spss 

TL; DR (muito longo, não leu): Estou trabalhando em um problema de previsão de séries temporais, que formulo como um problema de regressão usando o Deep Learning (keras). Quero otimizar a correlação de Pearson entre minha previsão e os rótulos verdadeiros. Estou confuso pelo fato de que o uso do …

8 machine-learning  deep-learning  loss-functions  pearson-r  mse 

Na Econometric Analysis de Jeff Wooldridge (2ª edição), ele deriva a expressão para o estimador de diferença-em-diferença-em-diferenças (DDD) na página 151 para o período de dois períodos em que o estado B implementa uma mudança na política de saúde voltada para idosos . Primeiro, estou intrigado com o porquê da …

8 panel-data  econometrics  difference-in-difference 

Atualmente, estou analisando alguns dados que foram produzidos por uma simulação de MC que escrevi - espero que os valores sejam normalmente distribuídos. Naturalmente, plotei um histograma e parece razoável (eu acho?): [Canto superior esquerdo: histograma com dist.pdf(), canto superior direito: histograma cumulativo com dist.cdf(), inferior: gráfico QQ, datavs dist] …

8 hypothesis-testing  normal-distribution  python  kolmogorov-smirnov 

Meu problema de lição de casa é dar um contra-exemplo em que uma determinada estatística não é, em geral, mínima o suficiente. Independentemente dos detalhes de encontrar um contra-exemplo específico para essa estatística específica, isso levanta a seguinte questão para mim: Pergunta: Como se pode formular a condição de não …

8 self-study  mathematical-statistics  sufficient-statistics