Estatísticas e Big Data

Eu tenho uma variável aleatória 1-D que é extremamente assimétrica. Para normalizar essa distribuição, quero usar a mediana e não a média. minha pergunta é a seguinte: posso calcular a variação da distribuição usando a mediana na fórmula em vez da média? ou seja, posso substituir Var(X)=∑[(Xi−mean(X))2]/nVar(X)=∑[(Xi−mean(X))2]/n \mathrm{Var}(X) = \sum[(X_i …

10 variance  mean  median 

Estou lendo Bayes variacionais e, pelo que entendi, tudo se resume à ideia de que você aproxima (onde são as variáveis ​​latentes do seu modelo os dados observados) com uma função , assumindo que é como onde é um subconjunto das variáveis ​​latentes. Pode-se então mostrar que o fator ótimo …

10 variational-bayes 

Estou tentando trabalhar no caminho do primeiro conjunto de problemas do material do curso de classe on-line stanford cs224d e estou tendo alguns problemas com o problema 3A: Ao usar o modelo skip gram word2vec com a função de previsão softmax e a função de perda de entropia cruzada, deseja …

10 machine-learning  self-study  word2vec 

Enviei um artigo que foi rejeitado devido à maneira inadequada de realizar a análise de sobrevivência. O árbitro não deixou outros detalhes ou explicações além de: "a análise da sobrevivência nas tendências do tempo requer maneiras mais sofisticadas de censurar". A questão: O risco excessivo de morte entre fumantes foi …

10 regression  survival  incidence-rate-ratio  interval-censoring 

De acordo com a documentação da removeSparseTermsfunção do tmpacote, é isso que a escarsidade implica: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms …

10 r  text-mining  natural-language 

Como a notação lida? É segue uma distribuição normal? Ou é uma distribuição normal? Ou talvez seja aproximadamente normal ..X X XX∼ N( μ , σ2)X∼N(μ,σ2)X\sim N(\mu,\sigma^2)XXX XXX XXX E se houver várias variáveis ​​que seguem (ou sejam quais forem as palavras) a mesma distribuição? Como está escrito?

10 normal-distribution  notation 

Aqui está o meu código para o método de seleção de recursos em Python: from sklearn.svm import LinearSVC from sklearn.datasets import load_iris iris = load_iris() X, y = iris.data, iris.target X.shape (150, 4) X_new = LinearSVC(C=0.01, penalty="l1", dual=False).fit_transform(X, y) X_new.shape (150, 3) Mas depois de obter o novo X (variável …

10 feature-selection  python  scikit-learn 

Entendo a diferença entre k medóide e k significa. Mas você pode me dar um exemplo com um pequeno conjunto de dados em que a saída medóide k é diferente de k significa saída.

10 k-means  k-medoids 

Uma questão muito básica relativa aos das regressões OLSR2R2R^2 executar a regressão OLS y ~ x1, temos um , digamos 0,3R2R2R^2 executar a regressão OLS y ~ x2, temos outro , digamos 0,4R2R2R^2 agora executamos uma regressão y ~ x1 + x2, que valor pode ser o R ​​ao quadrado …

10 regression  multiple-regression  least-squares  r-squared 

Qual é a maneira correta de testar a importância dos índices de Sharpe ou dos índices de informação? Os índices de Sharpe serão baseados em vários índices de ações e podem ter períodos variáveis ​​de retorno. Uma solução que eu vi descrita simplesmente aplica um teste t de Student, com …

10 time-series  statistical-significance  mean  finance  ratio 

Eu tenho procurado uma explicação clara de "bucketização" no aprendizado de máquina sem sorte. O que eu entendo até agora é que a bucketização é semelhante à quantização no processamento de sinal digital, onde uma faixa de valores contínuos é substituída por um valor discreto. Isso está correto? Quais são …

10 machine-learning  dataset  data-preprocessing 

Costumo ver pessoas falando sobre validação cruzada 5x2 como um caso especial de validação cruzada aninhada . Suponho que o primeiro número (aqui: 5) se refira ao número de dobras no loop interno e o segundo número (aqui: 2) se refira ao número de dobras no loop externo? Então, como …

10 machine-learning  cross-validation  hyperparameter 

Eu tenho um conjunto de dados de 50 amostras. Cada amostra é composta por 11 recursos booleanos (possivelmente correlacionados). Gostaria de visualizar como essas amostras são plotadas em 2D e examinar se existem agrupamentos / agrupamentos entre as 50 amostras. Eu tentei as duas abordagens a seguir: (a) Execute o …

10 clustering  data-visualization  pca  k-means  spectral-analysis 

Ao estudar duas amostras independentes, nos dizem que estamos olhando para a "diferença de duas médias". Isso significa que pegamos a média da população 1 ( ) e subtraímos a média da população 2 ( ). Portanto, nossa "diferença de dois meios" é ( - \ bar y_2 ). ˉ …

10 paired-comparisons  paired-data  mean 

Eu tenho uma pergunta básica. Digamos que eu tenha duas variáveis aleatórias, e Y . Eu posso padronizá-los subtraindo a média e dividindo pelo desvio padrão, ou seja, X s t a n d a r d i z e d = ( X - E ( X ) )XXXYYY …

10 correlation  covariance  standardization