Estatísticas e Big Data

Atualmente, estou preparando uma apresentação para um curso universitário em "Análise visual de dados". E um dos meus tópicos é a visualização "Star Coordinate". Star Coordinates Como o Star Coordinates realiza uma transformação de dados de alta dimensão, e a conhecida técnica PCA também o faz, pergunto-me se o PCA …

8 data-visualization  pca  large-data 

Eu tenho uma pergunta sobre a caminhada aleatória de dois reis em um tabuleiro de xadrez 3 × 3. Cada rei está se movendo aleatoriamente com igual probabilidade neste tabuleiro de xadrez - vertical, horizontal e diagonal. Os dois reis estão se movendo independentemente um do outro no mesmo tabuleiro …

8 self-study  markov-chain  random-walk 

Existe alguma maneira de executar o LASSO com regressão binomial negativa em R? Estou executando uma regressão binomial negativa no meu conjunto de dados porque os dados são muito dispersos para impor a regressão de poisson. Enquanto isso, também estou enfrentando algum problema de multicolinearidade. Eu já tentei usar glmnetcom …

8 r  regression  generalized-linear-model 

Considere um tipo de leilão em que você recebe, digamos, 1000 clientes em potencial. Com base nas informações sobre esses possíveis candidatos (idade, sexo, raça, renda, desempenho educacional e similares), você pode "fazer lances" para apresentar seu produto a uma fração deles, digamos 250. (Ignore o custo dos lances.) Para …

8 experiment-design  marketing 

Estou essencialmente aprendendo sobre a Alocação Latente de Dirichlet. Estou assistindo a um vídeo aqui: http://videolectures.net/mlss09uk_blei_tm/ e preso no minuto 45, quando ele começou a explicar as amostras da distribuição. Também tentei consultar um livro de aprendizado de máquina que não possui uma introdução detalhada sobre a distribuição de Dirichelt. …

8 probability  distributions  sampling  dirichlet-distribution 

Sejam e duas variáveis ​​aleatórias independentes com os respectivos PDFs:XXXYYY f(x;θi)={1θie−x/θi0&lt;x&lt;∞,0&lt;θi&lt;∞0elsewheref(x;θi)={1θie−x/θi0&lt;x&lt;∞,0&lt;θi&lt;∞0elsewheref \left(x;\theta_i \right) =\begin{cases} \frac{1}{\theta_i} e^{-x/ {\theta_i}} \quad 0<x<\infty, 0<\theta_i< \infty \\ 0 \quad \text{elsewhere} \end{cases} para . Duas amostras independentes são coletadas para testar contra dos tamanhos e dessas distribuições. Eu preciso mostrar que o LRT pode ser escrito …

8 distributions  self-study  likelihood-ratio 

Nos métodos de agrupamento, como médias K , a distância euclidiana é a métrica a ser usada. Como resultado, calculamos apenas os valores médios em cada cluster. E então são feitos ajustes nos elementos com base em sua distância para cada valor médio. Fiquei me perguntando por que a função …

8 normal-distribution  clustering  k-means  unsupervised-learning  gaussian-mixture 

Alguém pode explicar como a decomposição de Beveridge-Nelson funciona? Até agora, tudo o que sei é que estima ciclos de tendência em dados de séries temporais não estacionárias. Eu olhei para vários artigos de periódicos e ainda estou confuso sobre como ele funciona http://research.economics.unsw.edu.au/jmorley/bn.pdf

8 time-series 

Se eu precisar calcular um valor baseado em permutação com nível de significância α , quantas permutações eu preciso?pppαα\alpha No artigo "Testes de permutação para estudar o desempenho do classificador" , página 5: Na prática, o limite superior é normalmente usado para determinar o número de amostras necessárias para alcançar …

8 hypothesis-testing  p-value  permutation-test  resampling 

Eu calculei os valores de ICC para dois grupos e agora gostaria de comparar os valores de ICC para determinar se os grupos diferem em sua repetibilidade. Na literatura, as pessoas simplesmente usaram testes t para comparar a repetibilidade, mas não está claro para mim como fazer isso. Por exemplo, …

8 r  t-test  intraclass-correlation  repeatability 

Eu vim por vários postos e documentos alegando que a poda de árvores em um conjunto de árvores "ensacadas" não é necessária (veja 1 ). No entanto, é necessariamente (ou pelo menos em alguns casos conhecidos) prejudicial realizar a poda (digamos, com a amostra OOB) nas árvores individuais de um …

8 bootstrap  cart  bagging 

Estou usando dois perceptrons de múltiplas camadas de feedforward de múltiplas camadas (MLPs). Com os mesmos dados de entrada (14 neurônios de entrada), faço uma classificação (verdadeiro / falso) e uma regressão (se verdadeiro, "quanto") ¹. Até agora, usei preguiçosamente o Matlabs patternnet e fitnet , respectivamente. Preguiçosamente, porque não …

8 regression  machine-learning  backpropagation 

Eu estou olhando para gerar 450 pontos de dados em R. Existem três conjuntos distintos 150 de cada um distribuídos em uma banda circular com raios diferentes (em 1, 2,8 e 5). Em particular, pretendo reproduzir o primeiro gráfico da p546 de Os elementos do aprendizado estatístico. Ficaria muito grato …

8 r  self-study  random-generation 

Costumo ler que a correção de Bonferroni também funciona para hipóteses dependentes. No entanto, não acho que seja verdade e tenho um contra-exemplo. Alguém pode me dizer (a) onde está o meu erro ou (b) se estou certo sobre isso. Configurando o Exemplo de Contador Suponha que estamos testando duas …

8 hypothesis-testing  mathematical-statistics  multiple-comparisons  p-value  bonferroni 

Minha tabela de contingência: heterozygous homozygous.minor homozygous.major observed 2 0 3 expected 0 0 5 A população esperada é composta apenas pelo genótipo AA, mas na população observada observamos 2 genótipos AB. Para calcular o Chi-sq para isso, eu ignoraria os dois casos em que o esperado = 0? Então …

8 chi-squared