Estatísticas e Big Data

Suponha que dois vetores aleatórios e sejam distribuídos uniformemente na esfera unitária . É possível demonstrar que o produto de Kronecker de e é uniformemente distribuído sobre um subconjunto da esfera unidade ?xxxyyySn−1Sn−1S_{n-1}xxxyyySn−1⊗Sn−1Sn−1⊗Sn−1S_{n-1}\otimes S_{n-1}

7 distributions  uniform 

Eu tenho uma compreensão decente de redes neurais, propagação traseira e regra de cadeia, no entanto, estou lutando para entender a diferenciação automática. A seguir, consulte a diferenciação automática fora do contexto da propagação de retorno: Como a diferenciação automática calcula o gradiente a partir de uma matriz? Quais são …

7 machine-learning  neural-networks  deep-learning  tensorflow  automatic-differentiation 

Acabei de iniciar o livro de Sutton e Barto, Aprendizagem por reforço: uma introdução , e estou curioso para saber como pensar na resposta ao Exercício 1.1: Brincadeira automática . Suponha que, em vez de jogar contra um oponente aleatório, o algoritmo de aprendizado por reforço descrito acima jogue contra …

7 reinforcement-learning 

Estou escrevendo uma subclasse scipy.stats._distn_infrastructure.rv_discretepara a distribuição binomial beta cujo PMF é P(X=k∣N,α,β)(Nk)B(k+α,N−k+β)B(α,β),P(X=k∣N,α,β)(Nk)B(k+α,N−k+β)B(α,β),P(X=k \mid N, \alpha, \beta){N \choose k} \frac{\mathrm{B}(k+\alpha,N-k+\beta)}{\mathrm{B}(\alpha,\beta)}, onde BB\mathrm{B} é a função Beta. Minha implementação atual do CDF e SF (função de sobrevivência, equivalente a 1 - CDF) é imprecisa; a estratégia que empreguei calcula o valor …

7 distributions  python  cdf  beta-binomial 

Eu preciso parametrizar uma distribuição Weibull para alguns dados. Portanto, eu uso a Estimativa de Máxima Verossimilhança (MLE) do pacote fitdistrplus em R. No entanto, eu queria entender o que é feito no pacote, portanto, além de usar o pacote, tentei duas soluções manuais para verificar as propriedades do MLE …

7 maximum-likelihood  fitting  weibull 

Estou realizando uma regressão logística. Criei os seguintes dados de teste (os dois preditores e o critério são variáveis ​​binárias): UV1 UV2 AV 1 1 1 1 2 1 1 1 3 1 1 1 4 1 1 1 5 1 1 1 6 1 1 1 7 1 1 …

7 r  regression  logistic  logit 

Fiquei me perguntando se e como é possível modelar, em alguma amostra, a mudança de resultado ao longo do tempo, que depende do valor da linha de base desse resultado, usando um modelo misto? Imagine, por exemplo, uma situação em que o mesmo teste de conhecimento seja administrado 5 vezes …

7 time-series  mixed-model  change-scores 

Minha pergunta está relacionada à regularização em regressão linear e regressão logística. Atualmente, estou fazendo a terceira semana do curso Machine Learning de Andrew Ng sobre Coursera. Entendo como o ajuste excessivo pode ser um problema comum e tenho alguma intuição de como a regularização pode reduzir o ajuste excessivo. …

7 regression  machine-learning  regularization  overfitting 

Estou executando um modelo de regressão múltipla e procurando usar o AIC e o BIC para selecionar modelos. No entanto, percebo que ambas as medidas não consideram o número de variáveis ​​que podemos escolher, mas consideram apenas o número de variáveis ​​escolhidas. Se eu tenho muitas variáveis ​​para escolher, é …

7 multiple-regression  aic  bic 

Tenho dados sobre diferentes equipes, jogadores etc. Estou tentando descobrir a melhor maneira de modelar o resultado de uma partida, que pode terminar em uma vitória para o time da casa, uma perda para o time da casa ou um empate. Estou tendo problemas para modelar isso. Por exemplo, posso …

7 regression  modeling  poisson-distribution 

Eu tenho um conjunto de dados com classes desequilibradas. Três classes compõem cerca de 60% dos dados. Além disso, tenho divisões de teste diferentes que causam um desequilíbrio. Por exemplo: Conjunto de trens: label_1 ... label_n Conjunto de teste: label_1, label_3, label_9 Isso significa que, embora eu tenha apenas três …

7 machine-learning  scikit-learn  average  unbalanced-classes 

Ambos são / eram professores de estatística. Eles estavam relacionados?

7 history 

Suponha que sejam variáveis ​​aleatórias iid, com distribuição uniforme em . Estou interessado nas raízes esperadas do polinômio , que são variáveis ​​aleatórias complexas dadas por e A,B,CA,B,CA,B,C[−1,1][−1,1][-1,1]Ax2+Bx+CAx2+Bx+CAx^2 + Bx + CZ1=−B+B2−4AC−−−−−−−−√2AZ1=−B+B2−4AC2AZ_1 = \frac{-B+\sqrt{B^2-4AC}}{2A}Z2=−B−B2−4AC−−−−−−−−√2A.Z2=−B−B2−4AC2A.Z_2 = \frac{-B-\sqrt{B^2-4AC}}{2A}. Fazendo simulações, e E[Z1]≈0.3559+0.0005iE[Z1]≈0.3559+0.0005iE[Z_1] \approx 0.3559 + 0.0005iE[Z2]≈−0.6421−0.0005i.E[Z2]≈−0.6421−0.0005i.E[Z_2] \approx -0.6421 - 0.0005i. Para confirmar …

7 uniform  polynomial 

Pergunto-me por que se diz que várias correções de teste são "arbitrárias" e que são baseadas em uma filosofia incoerente que a veracidade de uma afirmação depende de quais outras hipóteses são consideradas veja, por exemplo, respostas e comentários para O que há de errado nos ajustes da Bonferroni? e, …

7 hypothesis-testing  multiple-comparisons  bonferroni 

Se tiver 60% de chance de algo acontecer (como a morte devido a um diagnóstico médico), qual é a probabilidade de a pessoa sobreviver três vezes? Por exemplo, 40% das pessoas sobreviverão. Quantos sobreviverão três vezes? Estou correto com o seguinte? Total Outcomes: 300 (60 die, 40 survive = 100 …

7 probability  independence