Estatísticas e Big Data

Estou tentando entender como posso modelar melhor uma variável onde, com o tempo, obtive preditores cada vez mais detalhados. Por exemplo, considere modelar taxas de recuperação em empréstimos inadimplentes. Suponha que tenhamos um conjunto de dados com 20 anos de dados e, nos primeiros 15 desses anos, apenas sabemos se …

9 regression  missing-data 

Estou olhando para uma planilha do Excel que afirma estar calculando o , mas não reconheço essa maneira de fazê-lo, e fiquei pensando se estou perdendo alguma coisa.χ2χ2\chi^2 Aqui estão os dados que está analisando: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | …

9 r  chi-squared  excel 

Eu estava lendo um livro de estatísticas de nível de entrada. No capítulo sobre estimativa de máxima verossimilhança da proporção de sucesso nos dados com distribuição binomial, ele forneceu uma fórmula para calcular um intervalo de confiança e depois mencionou indiferentemente Considere sua probabilidade de cobertura real, ou seja, a …

9 confidence-interval  terminology  coverage-probability 

Um colega meu me enviou esse problema aparentemente fazendo rondas na internet: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? A resposta parece ser 200. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 Quando eu faço uma regressão …

9 r  regression  lm 

Sei que se você fizer uma nova amostragem de um conjunto de dados várias vezes e calcular a média a cada vez, esses meios seguirão uma distribuição normal (pelo CLT). Portanto, você pode calcular um intervalo de confiança na média do conjunto de dados sem fazer nenhuma suposição sobre a …

9 distributions  confidence-interval  bootstrap  resampling 

Quando , o problema dos mínimos quadrados que impõe uma restrição esférica δ no valor de β pode ser escrito como min ‖ y - X p ‖ 2 2 s . t . ‖ Β ‖ 2 2 ≤ ô 2 para um sistema sobredeterminado. ‖ ⋅ ‖ 2 …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Gostaria de traçar no mesmo gráfico a interação entre meu preditor contínuo e meu moderador categórico. Eu sei como fazê-lo quando ambos são categóricos ( interação de fatores ), mas realmente não sei como fazê-lo quando um é contínuo e outro é categórico.

9 data-visualization  categorical-data  interaction  continuous-data 

Qual configuração está correta para uma diferença no modelo de regressão de diferença usando Yist=α+γs∗T+λdt+δ∗(T∗dt)+ϵistYist=α+γs∗T+λdt+δ∗(T∗dt)+ϵistY_{ist} = \alpha +\gamma_s*T + \lambda d_t + \delta*(T*d_t)+ \epsilon_{ist} onde T é um manequim igual a 1 se a observação for do grupo de tratamento ed é um manequim igual a 1 no período após …

9 regression  econometrics  difference-in-difference 

Estou lendo um livro que apresenta a distribuição Dirchilet e, em seguida, apresentei números sobre ela. Mas eu realmente não era capaz de entender esses números. Anexei a figura aqui na parte inferior. O que não entendo são os significados dos triângulos. Normalmente, quando se deseja plotar uma função de …

9 distributions  data-visualization  dirichlet-distribution 

Eu sei que álgebra linear e análise (especialmente teoria das medidas) são importantes. É útil fazer cursos de pós-graduação em análises reais e complexas? Devo fazer cursos de álgebra abstrata além dos cursos introdutórios, por exemplo, álgebra comutativa e geometria algébrica?

9 mathematical-statistics  academia  algebraic-statistics 

Eu tenho muitas imagens de varredura de satélite disponíveis em diferentes sensores. Destes, os mais grossos têm uma resolução temporal muito abundante. Os rasters de média resolução tendem a ter menos datas de aquisição, mas ainda existe algum grau de informação disponível. As de resolução mais fina têm uma resolução …

9 time-series  machine-learning  predictive-models  multivariate-regression 

Suponha que eu fiz: ensaios independentes com uma taxa de sucesso desconhecida p 1 e observadossucessos k 1 .n1n1n_1p1p1p_1k1k1k_1 ensaios independentes com uma taxa de sucesso desconhecida p 2 e observadossucessos de k 2 .n2n2n_2p2p2p_2k2k2k_2 Se agora mas ainda desconhecido, a probabilidade p ( k 2 ) de observar k …

9 hypothesis-testing  binomial  references 

1) Como posso alterar o limite de classificação (acho que é 0,5 por padrão) no RandomForest no sklearn? 2) como posso sub-amostrar no sklearn? 3) Tenho o seguinte resultado do classificador RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 0.74 0.87 …

9 classification  random-forest  precision-recall  unbalanced-classes 

O índice de estabilidade populacional quantifica a alteração de uma distribuição de uma variável comparando amostras de dados em dois períodos de tempo. É muito comumente usado para medir mudanças nas pontuações. É calculado da seguinte forma: 1) A amostra do período base é discretizada. Geralmente é particionado em deciles …

9 distributions  kullback-leibler 

Dados números, em que o valor de cada número é diferente, indicado como , e a probabilidade de selecionar cada número é , respectivamente.nnnv1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_np1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n Agora, se eu selecionar números KKK base nas probabilidades fornecidas, onde K≤nK≤nK \leq n , qual é a expectativa da …

9 probability