Estatísticas e Big Data

Muitos algoritmos de aprendizado de máquina, por exemplo, redes neurais, esperam lidar com números. Portanto, quando você tem dados categóricos, precisa convertê-los. Por categórico, quero dizer, por exemplo: Marcas de automóveis: Audi, BMW, Chevrolet ... IDs de usuários: 1, 25, 26, 28 ... Mesmo que os IDs de usuários sejam …

14 machine-learning  many-categories 

Estou tentando entender a medida dinâmica de distorção do tempo para comparar séries temporais juntas. Eu tenho três conjuntos de dados de séries temporais como este: T1 <- structure(c(0.000213652387565, 0.000535045478866, 0, 0, 0.000219346347883, 0.000359669104424, 0.000269469145783, 0.00016051364366, 0.000181950509461, 0.000385579332948, 0.00078170803205, 0.000747244535774, 0, 0.000622858922454, 0.000689084895259, 0.000487983408564, 0.000224744353298, 0.000416449765747, 0.000308388157895, 0.000198906016907, 0.000179549331179, 9.06289650172e-05, …

14 r  time-series  clustering 

No primeiro capítulo do livro Geometria Algébrica e Teoria Estatística da Aprendizagem, que fala sobre a convergência de estimativas em diferentes espaços funcionais, ele menciona que a estimativa bayesiana corresponde à topologia de distribuição de Schwartz, enquanto a estimativa de máxima verossimilhança corresponde à topologia de super-norma. (na página 7): …

14 bayesian  maximum-likelihood  statistical-learning 

Essa pergunta surge da pergunta aqui sobre um limite para as funções geradoras de momento (MGFs). Suponha que é uma variável aleatória de média zero delimitada, assumindo valores em e que seja seu MGF. De um limite usado em uma prova da desigualdade de Hoeffding , temos que que o …

14 probability  probability-inequalities  mgf 

Alguma recomendação para a escolha de uma biblioteca de otimização restrita adequada para a minha função de otimização? Estou minimizando ai) a função não linear com restrições lineares de igualdade e desigualdade e ii) tenho disponível o gradiente e o hessiano da função. Se ajudar, a função que estou minimizando …

14 r  optimization  software 

Estou tentando reproduzir um algoritmo de previsão existente, transmitido por um pesquisador aposentado. O primeiro passo é ajustar alguns dados observados a uma distribuição Weibull, para obter uma forma e escala que serão usadas para prever valores futuros. Estou usando R para fazer isso. Aqui está um exemplo do meu …

14 distributions  curve-fitting 

Dada uma sequência de entradas, preciso determinar se essa sequência tem uma certa propriedade desejada. A propriedade só pode ser verdadeira ou falsa, ou seja, existem apenas duas classes possíveis às quais uma sequência pode pertencer. A relação exata entre a sequência e a propriedade não é clara, mas acredito …

14 machine-learning  classification  modeling 

Eu me deparei com esses dois termos que são usados ​​de forma intercambiável em muitos contextos. Basicamente, um moderador (M) é um fator que afeta a relação entre X e Y. A análise de moderação geralmente é feita usando um modelo de regressão. Por exemplo, o gênero (M) pode afetar …

14 regression  interaction  interpretation  regression-coefficients  terminology 

Na análise de dados em painel, usei modelos de vários níveis com efeitos aleatórios / mistos para lidar com problemas de auto-correlação (ou seja, as observações são agrupadas em indivíduos ao longo do tempo) com outros parâmetros adicionados para ajustar algumas especificações de tempo e choques de interesse . O …

14 time-series  mixed-model  arima  multilevel-analysis 

Em um artigo de pesquisa sobre análise de sensibilidade de um modelo de equação diferencial ordinária de um sistema dinâmico, o autor forneceu a distribuição de um parâmetro de modelo como Distribuição normal (média = 1e-4, std = 3e-5) truncada no intervalo [0,5e -4 1,5e-4]. Ele então usa amostras dessa …

14 distributions  simulation  truncation 

Qual é a diferença entre variação de amostra e variação de amostra? Eles parecem iguais. Não são?

14 sampling  variance  sample 

Antes de mais, gostaria de descrever alguns layouts comuns que os livros de Data Mining usam para explicar como lidar com conjuntos de dados não balanceados . Normalmente, a seção principal é denominada Conjuntos de dados não balanceados e abrange estas duas subseções: Classificação sensível ao custo e técnicas de …

14 machine-learning  classification  unbalanced-classes 

Esta é uma pergunta ingênua de alguém que começa a aprender aprendizado de máquina. Atualmente, estou lendo o livro "Aprendizado de máquina: uma perspectiva algorítmica" de Marsland. Considero útil como um livro introdutório, mas agora gostaria de entrar em algoritmos avançados, aqueles que atualmente estão apresentando os melhores resultados. Estou …

14 machine-learning  clustering  bioinformatics 

Ao dicotomizar variáveis, quais informações são perdidas no processo? Como uma dicotomização ajuda nas análises?

14 regression  data-transformation  binary-data 

Em primeiro lugar, suponho que nem todos os membros ativos deste site interessante sejam estatísticos como seu trabalho. Caso contrário, a pergunta feita a seguir não faz sentido! Eu os respeito, é claro, mas preciso de uma explicação que seja um pouco mais prática e não conceitual. Começo com um …

14 self-study  terminology  notation