Estatísticas e Big Data

Métodos de conjuntos baseados em árvores, como Floresta Aleatória e derivadas subsequentes (por exemplo, floresta condicional), todos pretendem ser úteis nos chamados problemas "pequenos n , grandes p ", para identificar importância relativa variável. De fato, esse parece ser o caso, mas minha pergunta é até que ponto essa capacidade …

10 random-forest  small-sample  ensemble 

Suponha que eu tenha 10 alunos, cada um tentando resolver 20 problemas de matemática. Os problemas são pontuados como corretos ou incorretos (em dados longos) e o desempenho de cada aluno pode ser resumido por uma medida de precisão (em dados subjetivos). Os modelos 1, 2 e 4 abaixo parecem …

10 r  regression  logistic  generalized-linear-model  binomial 

Estou estudando a RBM (Restricted Boltzmann Machine) e estou tendo alguns problemas para entender os cálculos de probabilidade de log com relação aos parâmetros da RBM. Embora muitos trabalhos de pesquisa sobre RBM tenham sido publicados, não há etapas detalhadas dos derivativos. Depois de pesquisar online, consegui encontrá-los neste documento: …

10 references  rbm 

Considere um gráfico geométrico aleatório infinito no qual as localizações dos nós seguem um processo de ponto de Poisson com densidade e as arestas são colocadas entre os nós que estão mais próximos que . Portanto, o comprimento das arestas segue o seguinte PDF:ρρ\rhoddd f(l)={2ld2l≤d0l>df(l)={2ld2l≤d0l>d f(l)= \begin{cases} \frac{2 l}{d^2} \;\quad …

10 probability  stochastic-processes  pdf  asymptotics  graph-theory 

Um dos problemas no meu livro é apresentado da seguinte maneira. Um vetor contínuo estocástico bidimensional tem a seguinte função de densidade: fX, Y( x , y) = { 15 x y20 0se 0 <x <1 e 0 <y <xde outra formafX,Y(x,y)={15xy2if 0 < x < 1 and 0 < …

10 self-study  random-variable  marginal  joint-distribution 

Costumo lidar com uma quantidade de tamanho razoável de dados de séries temporais, 50 a 200 milhões de vezes com registros de data e hora associados e gostaria de visualizá-los dinamicamente. Existe software existente para fazer isso de forma eficaz? E as bibliotecas e formatos de dados? O cache de …

10 time-series  data-visualization  large-data  interactive-visualization 

Usando a Wikipedia, encontrei uma maneira de calcular a função de massa de probabilidade resultante da soma de duas variáveis ​​aleatórias de Poisson. No entanto, acho que a abordagem que tenho está errada. Seja duas variáveis ​​aleatórias independentes de Poisson com média eX1,X2X1,X2X_1, X_2λ1,λ2λ1,λ2\lambda_1, \lambda_2S2=a1X1+a2X2S2=a1X1+a2X2S_2 = a_1 X_1+a_2 X_2 , …

10 distributions  poisson-distribution 

Encontrei este artigo sobre a equipe de mineração de dados na campanha de reeleição de Obama. Infelizmente, o artigo é muito confuso sobre o mecanismo real dos algoritmos estatísticos. No entanto, parecia que as técnicas gerais são conhecidas nas ciências sociais e políticas. Como essa não é minha área de …

10 data-mining  social-network  social-science 

Dadas duas variáveis ​​aleatórias independentes e , qual é a distribuição da diferença, ou seja, ?Y ∼ G a m m a ( α Y , β Y ) D = X - YX∼ G a m m a ( αX, βX)X∼Gamma(αX,βX)X\sim \mathrm{Gamma}(\alpha_X,\beta_X)Y∼ G a m m a ( αY, …

10 distributions  gamma-distribution 

Tendo analisado várias fontes on-line, não consigo obter uma resposta direta. Alguém poderia me esclarecer se os dados ordinais são suficientes para o WSRT e se não, o teste de sinais é uma alternativa apropriada? Finalmente, este é para o meu projeto de dissertação na universidade e, portanto, se qualquer …

10 nonparametric  assumptions  wilcoxon-signed-rank 

Primeiro, devo declarar que procurei neste site a resposta. Também não encontrei uma pergunta que respondesse à minha pergunta ou meu nível de conhecimento é tão baixo que não percebi que já tinha lido a resposta. Estou estudando para o exame de estatística da AP. Eu tenho que aprender regressão …

10 regression  outliers  residuals 

Eu estou um pouco confuso. Alguém pode me explicar como calcular informações mútuas entre dois termos com base em uma matriz termo-documento com ocorrência de termos binários como pesos? D o c u m e n t 1D o c u m e n t doisD o c u m …

10 python  information-theory  mutual-information  numpy  pandas 

Como sou um engenheiro de software tentando aprender mais estatísticas, você terá que me perdoar antes mesmo de começar, esse é um território novo e sério ... Estou aprendendo PyMC e trabalhando com alguns exemplos realmente (realmente) simples. Um problema para o qual não consigo trabalhar (e não consigo encontrar …

10 modeling  python  pymc 

Tanto a função logística quanto o desvio padrão são geralmente indicados como . Vou usar e para o desvio padrão.σσ\sigmaσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp⁡(−x))\sigma(x) = 1/(1+\exp(-x))sss Eu tenho um neurônio logístico com uma entrada aleatória cuja média e desvio padrão eu conheço. Espero que a diferença da média possa ser bem aproximada por algum …

10 distributions  normal-distribution  neural-networks  mathematical-statistics  expected-value 

Eu sou novo na análise de sequências e fiquei imaginando como você reage se as larguras médias da silhueta (ASW) das análises de cluster das matrizes de dissimilaridade com base na Correspondência Ótima são baixas (em torno de 25). Parece apropriado concluir que há pouca estrutura subjacente que permita que …

10 clustering  traminer