Perguntas com a marcação «normalization»

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 6 anos . Gostaria de executar a normalização em coluna de uma matriz em R. Dada uma matriz …

25 r  data-transformation  normalization  matrix 

Estou escrevendo um algoritmo no qual, dado um modelo, calculo as probabilidades para uma lista de conjuntos de dados e, em seguida, preciso normalizar (com probabilidade) cada uma das probabilidades. Então, algo como [0,00043, 0,00004, 0,00321] pode ser convertido em [0,2, 0,03, 0,77]. Meu problema é que as probabilidades de …

21 probability  normalization  likelihood  c++  arithmetic 

Aparentemente, no agrupamento hierárquico no qual a medida de distância é a distância euclidiana, os dados devem primeiro ser normalizados ou padronizados para impedir que a covariável com a maior variação conduza o agrupamento. Por que é isso? Este fato não é desejável?

19 clustering  normalization 

Alguns dos recursos de meus dados têm valores grandes, enquanto outros possuem valores muito menores. É necessário centralizar os dados na escala + antes de aplicar o t-SNE para evitar desvios para valores maiores? Eu uso a implementação sklearn.manifold.TSNE do Python com a métrica de distância euclidiana padrão.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Eu tenho uma pergunta na qual ele pede para verificar se a distribuição Uniform ( ) está normalizada.Uniform(a,b)Uniform(a,b){\rm Uniform}(a,b) Por um lado, o que significa que qualquer distribuição seja normalizada? E segundo, como vamos verificar se uma distribuição é normalizada ou não? Entendo que ao calcular obtemos dados normalizados , …

18 data-transformation  terminology  normalization  standardization 

Suponha que tenhamos NNN variáveis ​​mensuráveis, ( a1, um2, ... , UmN)(uma1,uma2,...,umaN)(a_1, a_2, \ldots, a_N) , fazemos um número M> NM>NM > N de medições e, em seguida, desejamos realizar uma decomposição de valor singular nos resultados para encontrar os eixos de maior variância para a MMM pontos no espaço …

17 pca  data-transformation  normalization  dimensionality-reduction  svd 

Os dados de normalização (com média zero e desvio padrão da unidade) antes de executar uma validação cruzada repetida em dobra k tem conquistas negativas, como ajuste excessivo? Nota: isto é para uma situação em que #cases> total #features Estou transformando alguns dos meus dados usando uma transformação de log …

16 cross-validation  normalization 

Nos estudos de expressão gênica usando microarranjos, os dados de intensidade devem ser normalizados para que as intensidades possam ser comparadas entre indivíduos, entre genes. Conceitualmente e algoritmicamente, como funciona a "normalização quantílica" e como você explicaria isso a um não estatístico?

15 genetics  normalization  microarray 

Digamos que eu tenha um classificador de regressão logística. No aprendizado em lote normal, eu teria um termo regularizador para evitar o excesso de ajustes e manter meus pesos pequenos. Eu também normalizava e dimensionava meus recursos. Em um ambiente de aprendizado on-line, estou recebendo um fluxo contínuo de dados. …

15 machine-learning  normalization  regularization  online 

Eu estou usando um script. É para registros principais. Eu tenho um quadro de dados que mostra as diferentes composições elementares nas colunas em uma determinada profundidade (na primeira coluna). Quero executar um PCA com ele e estou confuso sobre o método de padronização que tenho que escolher. Alguém de …

13 r  pca  normalization  compositional-data 

Estou fazendo o curso de aprendizado de máquina de Andrew Ng e não consegui obter a resposta correta para essa pergunta após várias tentativas. Por favor, ajude a resolver isso, embora eu tenha passado pelo nível. Suponha que alunos tenham participado de alguma aula e a turma tenha um exame …

13 machine-learning  self-study  normalization 

Estou tentando encontrar a distribuição característica mais apropriada de dados de medições repetidas de um determinado tipo. Essencialmente, no meu ramo da geologia, geralmente usamos datação radiométrica de minerais de amostras (pedaços de rocha) para descobrir há quanto tempo um evento aconteceu (a rocha esfriou abaixo de uma temperatura limite). …

12 distributions  normal-distribution  normalization  histogram 

Eu tenho um conjunto de dados muito grande e faltam cerca de 5% de valores aleatórios. Essas variáveis ​​estão correlacionadas entre si. O exemplo a seguir do conjunto de dados R é apenas um exemplo de brinquedo com dados correlatos simulados. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Estou trabalhando em um algoritmo que utiliza um vetor do ponto de dados mais recente de um número de fluxos de sensores e compara a distância euclidiana aos vetores anteriores. O problema é que os diferentes fluxos de dados são de sensores completamente diferentes; portanto, tomar uma distância euclidiana simples …

12 time-series  normalization  real-time 

Para um dado conjunto de dados, o spread é frequentemente calculado como o desvio padrão ou como o IQR (intervalo inter-quartil). Enquanto a standard deviationé normalizado (escores z, etc.) e, portanto, pode ser usado para comparar a dispersão de duas populações diferentes, esse não é o caso do IQR, pois …

12 nonparametric  mathematical-statistics  standard-deviation  descriptive-statistics  normalization