Estatísticas e Big Data

Eu tenho uma dúvida muito básica. Desculpe se isso irrita poucos. Eu sei que o valor de Informações Mútuas deve ser maior que 0, mas deve ser menor que 1? É limitado por algum valor superior? Obrigado, Amit.

11 information-theory  mutual-information 

Estou usando R (e o pacote arules) para minerar transações para regras de associação. O que desejo fazer é construir as regras e aplicá-las aos novos dados. Por exemplo, digamos que eu tenha muitas regras, uma das quais é a canônica {Beer=YES} -> {Diapers=YES}. Então, tenho novos dados transacionais em …

11 r  data-mining  association-rules 

Estou procurando alguma implementação python (em python puro ou empacotando materiais existentes) do HMM e Baum-Welch. Algumas ideias? Acabei de pesquisar no google e encontrei material muito ruim em relação a outras técnicas de aprendizado de máquina. Por quê?

11 python  hidden-markov-model 

Suponha que você tenha a seguinte situação: Você observou ao longo do tempo 1000 jogadores de boliche, cada um jogando um número relativamente pequeno de jogos (digamos 1 a 20). Você anotou a porcentagem de strike de cada um desses jogadores sobre o número de jogos que cada um desses …

11 binomial  inference 

Este documento no Adaboost fornece algumas sugestões e códigos (página 17) para estender os modelos de 2 classes para problemas da classe K. Gostaria de generalizar esse código, para que eu possa conectar facilmente diferentes modelos de 2 classes e comparar os resultados. Como a maioria dos modelos de classificação …

11 r  machine-learning  classification  statistical-learning  multi-class 

Uma moeda precisa ser testada quanto à justiça. 30 cabeças aparecem após 50 lançamentos. Supondo que a moeda seja justa, qual é a probabilidade de obter pelo menos 30 cabeças em 50 movimentos? A maneira correta de resolver esse problema, de acordo com meu professor, é fazer normalcdf(min = .6, …

11 self-study  normal-distribution  binomial 

Existe uma biblioteca de plotagem para R que pode transformar um quadro de dados dos horários de início e de parada em um plot da linha do tempo, algo como o seguinte: O único significado do eixo Y é que ele empilha com simultaneidade, mas nem sempre representa simultaneidade (veja …

11 r  data-visualization 

Preciso de uma ajudinha para seguir na direção certa. Faz muito tempo que não estudei nenhuma estatística e o jargão parece ter mudado. Imagine que eu tenho um conjunto de dados relacionados a carros, como Tempo de viagem da cidade A para a cidade B Distância da cidade A à …

11 regression  categorical-data  categorical-encoding 

Minha cabeleireira Stacey sempre mostra uma cara feliz, mas costuma ficar estressada com a possibilidade de administrar seu tempo. Hoje, Stacey estava atrasada para minha consulta e se desculpou muito. Enquanto cortava o cabelo, eu me perguntava: quanto tempo deveriam durar as consultas regulares? (se a preferência do cliente por …

11 normal-distribution  optimization  queueing  decision-theory 

Estou estudando as anotações de Larry Wasserman sobre estatística, que usam Casella e Berger como seu texto principal. Estou trabalhando nas anotações da aula, conjunto 2, e fiquei preso na derivação do lema usado na desigualdade de Hoeffding (pp.2-3). Estou reproduzindo a prova nas notas abaixo e depois da prova …

11 probability  probability-inequalities 

Estou interessado em saber se existe ou não um consenso sobre a maneira ideal de analisar dados de tempo de permanência (LOS) de um ECR. Normalmente, é uma distribuição muito inclinada à direita, na qual a maioria dos pacientes recebe alta dentro de alguns dias a uma semana, mas o …

11 t-test  power  skewness  cox-model  logrank 

Em um aplicativo de mineração de texto, uma abordagem simples é usar a heurística para criar vetores como representações esparsas compactas dos documentos. Isso é bom para a configuração do lote, onde o corpus inteiro é conhecido a priori, pois o i d f requer o corpus inteirotf−idftf−idftf-idfidfidfidf idf(t)=log|D||{d:t∈d}|idf(t)=log⁡|D||{d:t∈d}| \mathrm{idf}(t) …

11 time-series  text-mining 

Comecei a cavar um pouco a função plot.lm , essa função fornece seis gráficos para lm, são eles: uma plotagem de resíduos contra valores ajustados uma plotagem Scale-Location de sqrt (| resíduos |) em relação aos valores ajustados um gráfico QQ normal, um gráfico das distâncias de Cook versus rótulos …

11 r  regression  linear-model  diagnostic 

Sou um pouco novo na mineração de dados e estou trabalhando em um modelo de classificação para previsão de classificação de filmes. Eu coletei conjuntos de dados do IMDB e planejo usar árvores de decisão e abordagens de vizinhos mais próximos para o meu modelo. Gostaria de saber qual ferramenta …

11 classification  cart 

Dada uma série temporal, pode-se estimar a função de autocorrelação e plotá-la, por exemplo, como mostrado abaixo: O que é então possível ler sobre as séries temporais, dessa função de autocorrelação? É possível, por exemplo, raciocinar sobre a estacionariedade das séries temporais? Editado : Aqui incluí o ACF da série …

11 time-series  autocorrelation