Estatísticas e Big Data

Fiz essa pergunta em uma entrevista e inicialmente não respondi corretamente, apesar de ainda achar que minha interpretação pode ter sido a correta. A questão era: Existem dois caminhões de entrega, A e B. A faz entregas entre 8h e 10h, e B faz entregas entre 9h e 11h. As …

7 probability  self-study  uniform 

Minha pergunta é: como podemos usar dados de saída medidos parcialmente em um conjunto de treinamento? Isso é vago, então eu o concretizo em um conto caprichoso. Esquilos têm nozes, mas quantos? Configuração Existe um conjunto SSS de esquilos e um conjunto TTTde árvores na floresta. Esquilosi∈Ssi∈Ss_i \in S tem …

7 machine-learning  predictive-models  semi-supervised 

Estou interessado em entender qual arquitetura de rede neural é atualmente o estado da arte (às vezes abreviado como "SOTA") com relação às tarefas de classificação de imagem padrão, como MNIST, STLN-10 e CIFAR. Isso é desafiador porque novos resultados são publicados com frequência e pode ser difícil acompanhar. Existe …

7 neural-networks  references  conv-neural-network 

Pergunta muito básica aqui, mas eu gostaria de entender (não matematicamente) como o fato de adicionar uma "penalidade" (soma do coeficiente ao quadrado. Vezes um escalar) à soma residual do quadrado pode reduzir grandes coeficientes? obrigado !

7 regression  least-squares  regularization 

Suponha que você tenha dois conjuntos de dados D1 e D2. Ambos são amostrados da mesma distribuição subjacente X. Quero usá-los para treinar uma rede neural. Os recursos são todos os números inteiros não assinados no intervalo [0; 2 ^ 64]. Devido ao fato de os recursos estarem em escalas …

7 neural-networks  dataset  normalization  z-score 

Como eu gero números aleatórios normais aleatoriamente distribuídos de forma idêntica, mas não independentes, de modo que sua soma caia dentro de um intervalo pré-especificado com probabilidade ?nnn[a,b][a,b][a,b]ppp (Essa pergunta é motivada pela geração de uma caminhada aleatória que termina em um ponto pré-especificado: afinal, um processo aleatório não é …

7 normal-distribution  random-generation  sum 

O processo AR (1) é Xt=ϕXt−1+εtXt=ϕXt−1+εt X_t = \phi X_{t-1} + \varepsilon_t se usarmos essa fórmula recursivamente, obteremos Xt=ϕ(ϕXt−2+εt−1)+εt=ϕ2Xt−2+ϕεt−1+εt=⋯=ϕkXt−k+∑j=0kϕjεt−jXt=ϕ(ϕXt−2+εt−1)+εt=ϕ2Xt−2+ϕεt−1+εt=⋯=ϕkXt−k+∑j=0kϕjεt−j X_t = \phi(\phi X_{t-2} + \varepsilon_{t-1}) + \varepsilon_t = \phi^2X_{t-2} + \phi\varepsilon_{t-1} + \varepsilon_t = \cdots = \phi^k X_{t-k} + \sum_{j=0}^k \phi^j\varepsilon_{t-j} Se deixarmos k→∞k→∞k\to\infty , obteremos Xt=limk→∞(ϕkXt−k+∑j=0kϕjεt−j)=limk→∞(ϕkXt−k)+∑j=0∞ϕjεt−jXt=limk→∞(ϕkXt−k+∑j=0kϕjεt−j)=limk→∞(ϕkXt−k)+∑j=0∞ϕjεt−j X_t = \lim_{k\to\infty}(\phi^k …

7 time-series  mathematical-statistics  autoregressive  moving-average 

Estou demorando um pouco para tentar entender os cálculos e a mecânica dos algoritmos de aprendizado de máquina que uso no meu dia-a-dia. Estudando a literatura de retropropagação no curso CS231n, quero ter certeza de que entendi a regra da cadeia corretamente antes de continuar meu estudo. Digamos que tenho …

7 machine-learning  intuition  backpropagation 

Eu tenho um conjunto de pontos de dados onde são as variáveis ​​independentes e acredito que cada pode ser modelado como sendo extraído de uma distribuição exponencial com os parâmetros .XEu,yEuXEu,yEuX_i, y_ixxxyEuyEuy_iλEuλEu\lambda_i Se eu usar o para prever , como posso avaliar a qualidade das minhas distribuições previstas em relação …

7 regression  distributions  error  scoring-rules 

Em R, os parâmetros estimados por glm()e seus erros padrão são fornecidos na escala de links, como alguém recentemente me esclareceu aqui . Faz sentido fornecer os parâmetros e seus erros padrão na mesma escala, mas por que não exibi-los na escala original dos dados? Eu imagino que a maioria …

7 r  generalized-linear-model  standard-error 

Problema Eu tenho dados de séries temporais gerados por uma máquina em dois períodos disjuntos de tempo - aproximadamente um mês em 2016 e outro mês em 2018. Os especialistas no domínio sugerem a hipótese de que a cada passo ttt, uma variável observada YtYtY^t pode ser explicado por outro …

7 time-series  hypothesis-testing  gaussian-process  model-comparison  structural-change 

Estou tentando criar um ECDF (e um limite de confiança) a partir de dados em Python. Posso gerar o ECDF facilmente com a numpyclassificação e o uso linspace. No entanto, não estou totalmente certo de quais são os limites de confiança apropriados e não parece haver nenhuma biblioteca statsmodelsinterna que …

7 statistical-significance  confidence-interval  python  matlab 

Normalmente, trabalho mais no lado da estimativa de efeitos / inferência causal, onde as pessoas se sentem à vontade com a imputação múltipla de dados ausentes, mas agora estou trabalhando em um projeto que é mais do lado do aprendizado de máquina. Esperamos ter alguns dados ausentes, porque são dados …

7 machine-learning  feature-selection  missing-data 

Existem problemas científicos com o uso do ML para ajudar na anotação humana? Eu tenho um conjunto de dados sem rótulo de 3 classes em que apenas 1 em 500 elementos pertencem às 2 classes de interesse. Os rótulos não são trivialmente discerníveis para todos os elementos dos dados não …

7 classification  unbalanced-classes  data-cleaning  active-learning 

Deixei X1 1,X2,X3, . . . ,XnX1,X2,X3,...,XnX_{1},X_{2},X_{3},...,X_{n} ser uma amostra aleatória de uma distribuição com pdf f( x ; α , θ ) =e- x / θθαΓ ( α )xα - 1Eu( 0 , ∞ )( x ) , α , θ > 0f(x;α,θ)=e−x/θθαΓ(α)xα−1I(0,∞)(x),α,θ>0f(x;\alpha,\theta)=\frac{e^{-x/\theta}}{\theta^{\alpha}\Gamma(\alpha)}x^{\alpha-1}I_{(0,\infty)}(x ),\alpha,\theta>0 Encontre o estimador de probabilidade …

7 self-study  maximum-likelihood  gamma-distribution  estimators