Estatísticas e Big Data

Estou trabalhando em um projeto de Machine Learning com dados que já são (fortemente) influenciados pela seleção de dados. Vamos supor que você tenha um conjunto de regras codificadas. Como você cria um modelo de aprendizado de máquina para substituí-lo, quando todos os dados que ele pode usar são dados …

18 machine-learning  classification  data-mining  bias  extrapolation 

Existe uma única palavra em inglês para denotar o "número de colunas" de uma matriz? Por exemplo, "dimensionalidade" de uma matriz é . Eu preciso de um termo para neste exemplo. Sempre posso dizer "número de colunas", é claro, mas eu poderia ter uma única palavra para isso?2 × 3 …

18 terminology  matrix 

Eu tenho os dados do vinho daqui, que consistem em 11 variáveis ​​numéricas independentes com uma classificação dependente associada a cada entrada com valores entre 0 e 10. Isso torna um ótimo conjunto de dados para usar um modelo de regressão para investigar a relação entre as variáveis ​​e os …

18 r  regression  logistic  ordered-logit 

Estou tentando entender em um nível mais profundo a onipresença da probabilidade logarítmica (e talvez mais geralmente da probabilidade logarítmica) nas estatísticas e na teoria da probabilidade. As probabilidades de log aparecem em todo o lugar: geralmente trabalhamos com a probabilidade de log para análise (por exemplo, para maximização), as …

18 probability  bayesian  likelihood  log-likelihood 

No artigo da DeepMind sobre o Deep Q-Learning para videogames da Atari ( aqui ), eles usam um método épsilon-ganancioso para exploração durante o treinamento. Isso significa que, quando uma ação é selecionada no treinamento, ela é escolhida como a ação com o valor q mais alto ou uma ação …

18 machine-learning  reinforcement-learning  q-learning  deep-rl 

Meus professores de física na pós-graduação, assim como o Nobel Feynman, sempre apresentavam o que chamavam de modelos de brinquedos para ilustrar conceitos e métodos básicos em física, como o oscilador harmônico, o pêndulo, o pião e a caixa preta. Quais modelos de brinquedos são usados ​​para ilustrar os conceitos …

18 machine-learning  neural-networks  deep-learning 

No artigo da Wikipedia sobre ANOVA , ele diz Na sua forma mais simples, a ANOVA fornece um teste estatístico para determinar se as médias de vários grupos são iguais ou não e, portanto, generaliza o teste t para mais de dois grupos. Meu entendimento disso é que a ANOVA …

18 r  hypothesis-testing  anova  t-test 

Frank Harrell iniciou um blog ( Statistical Thinking) . Em seu post principal , ele lista algumas características principais de sua filosofia estatística. Entre outros itens, inclui: Torne o tamanho da amostra uma variável aleatória sempre que possível O que significa "tornar o tamanho da amostra uma variável aleatória"? Quais …

18 sample-size  random-variable  regression-strategies 

Existe alguma suposição sobre a variável resposta da regressão logística? Por exemplo, suponha que tenhamos pontos de dados. Parece que a resposta vem de uma distribuição de Bernoulli com . Portanto, devemos ter distribuições de Bernoulli, com diferentes parâmetros .100010001000YiYiY_ipi=logit(β0+β1xi)pi=logit(β0+β1xi)p_i=\text{logit}(\beta_0+\beta_1 x_i)100010001000ppp Portanto, eles são "independentes", mas não são "idênticos". Estou …

18 regression  logistic  assumptions  iid 

Só estou me perguntando se as estatísticas bayesianas seriam aplicadas, consequentemente, do primeiro ao último, se isso fizer uma meta-análise obsoleta. Por exemplo, vamos assumir 20 estudos que foram realizados em diferentes momentos. A estimativa ou distribuição do primeiro estudo foi realizada com prévia não informativa . O segundo estudo …

18 bayesian  meta-analysis 

Qual é a maneira mais fácil de ver se a afirmação a seguir é verdadeira? Suponha . Mostre .Y1,…,Yn∼iidExp(1)Y1,…,Yn∼iidExp(1)Y_1, \dots, Y_n \overset{\text{iid}}{\sim} \text{Exp}(1)∑ni=1(Yi−Y(1))∼Gamma(n−1,1)∑i=1n(Yi−Y(1))∼Gamma(n−1,1)\sum_{i=1}^{n}(Y_i - Y_{(1)}) \sim \text{Gamma}(n-1, 1) Observe que .Y(1)=min1≤i≤nYiY(1)=min1≤i≤nYiY_{(1)} = \min\limits_{1 \leq i \leq n}Y_i Por X∼Exp(β)X∼Exp(β)X \sim \text{Exp}(\beta) , isso significa que fX(x)=1βe−x/β⋅1{x>0}fX(x)=1βe−x/β⋅1{x>0}f_{X}(x) = \dfrac{1}{\beta}e^{-x/\beta} \cdot \mathbf{1}_{\{x …

18 self-study  distributions  exponential  order-statistics  jacobian 

Se é a classificação completa, o inverso de existe e obtemos a estimativa de mínimos quadrados: eX t X β = ( X T X ) - 1 X Y Var ( β ) = σ 2 ( X T X )XXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Como podemos explicar intuitivamente …

18 regression  variance  least-squares 

Estudei matemática há uma década, por isso tenho um histórico em matemática e estatísticas, mas essa pergunta está me matando. Essa pergunta ainda é um pouco filosófica para mim. Por que os estatísticos desenvolveram todo tipo de técnicas para trabalhar com matrizes aleatórias? Quero dizer, um vetor aleatório não resolveu …

18 distributions  mathematical-statistics  random-variable  random-matrix 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 2 anos . Qual a sua opinião sobre o excesso de amostragem …

18 machine-learning  classification  oversampling 

A distribuição beta aparece em duas parametrizações (ou aqui ) f(x)∝xα(1−x)β(1)(1)f(x)∝xα(1−x)β f(x) \propto x^{\alpha} (1-x)^{\beta} \tag{1} ou aquele que parece ser usado com mais frequência f(x)∝xα−1(1−x)β−1(2)(2)f(x)∝xα−1(1−x)β−1 f(x) \propto x^{\alpha-1} (1-x)^{\beta-1} \tag{2} Mas por que exatamente existe " " na segunda fórmula?−1−1-1 A primeira formulação intuitivamente parece corresponder mais diretamente à …

18 distributions  references  beta-distribution  history  beta-binomial