Estatísticas e Big Data

Eu gostaria de poder criar um classificador que possa distinguir entre diferentes tipos de conversas (não necessariamente conte nada sobre humor, sinceridade ou resultado, que é um pouco buscado). Saber, por exemplo, que entre 50 amostras de conversas, 10 envolvem ambas as partes buscando informações sobre um evento futuro, 30 …

8 machine-learning  classification  text-mining 

No aprendizado por reforço, qual é a diferença entre programação dinâmica e aprendizado por diferença temporal?

8 reinforcement-learning 

Eu tenho duas implementações diferentes ridgeno MATLAB. Um é simplesmente x=(A′A+Iλ)−1A′bx=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (como visto na página de regressão de cume da Wikipedia ), com sendo a matriz de identidade das colunas de tamanho ( ) column ( ) eII\mathbf{I}AA\mathbf{A}××\timesAA\mathbf{A} Estou simplesmente chamando o "cume" de Matlab com …

8 matlab  ridge-regression  sparse 

Eu tenho uma variável aleatória que recebe valores nos números inteiros não negativos , chame as probabilidades para cada resultado . Eu posso provar da distribuição de de forma independente e barata; Atualmente, tenho um tamanho de amostra de . Parece que , com decaimento aproximadamente exponencial.ZZZ{0,1,2,…}{0,1,2,…}\{ 0,1,2,\dots \}zk:=P[Z=k]zk:=P[Z=k]z_k:=P[Z=k]ZZZ2282282^{28}z0≈0.24,z1≈0.18,…z0≈0.24,z1≈0.18,…z_0\approx 0.24, …

8 confidence-interval 

Houve um interesse recente em combinar algoritmos genéticos e redes neurais em uma estrutura geral de neuroevolução. A idéia básica é que seu algoritmo genético esteja evoluindo os parâmetros de muitas redes neurais que são usadas para resolver sua tarefa em questão. Uma espécie de programação genética, mas em vez …

8 neural-networks  genetic-algorithms 

Posso entender a análise fatorial da seguinte maneira? Suponha que eu tenho 5 variáveis ​​independentes (A, B, C, D, E) A análise fatorial permite que eu faça (D, E) serem variáveis ​​dependentes e permita que elas sejam combinações lineares de (A, B, C). Portanto, precisarei apenas transportar dados (A, B, …

8 factor-analysis 

OK, eu não sou estatístico (nem de perto). Sou um pesquisador de computação de alto desempenho e queria alguns casos de teste para matrizes densas grandes (maiores que 5000 x 5000). Eu pedi aqui e em alguns outros lugares, mas nunca recebi nenhuma resposta de um estatístico. Estou muito interessado …

8 large-data  matrix 

Estou procurando alguns documentos / sites / etc de médio a longo prazo sobre mineração de dados, especificamente onde um conjunto de dados é explorado em profundidade, desde a preparação dos dados até o modelo final. Estou particularmente interessado em discussões sobre a aplicação de algos de aprendizado de máquina …

8 r  data-mining 

Estou tentando replicar Silver & Dunlap (1987) . Estou apenas comparando correlações médias ou médias de transformações z e transformações inversas. Parece que não estou replicando a assimetria no viés que eles encontram (zs transformados de volta não estão mais próximos do valor da população do que rs). Alguma ideia? …

8 r  correlation  data-transformation  simulation  normalization 

Tenho uma pergunta que gostaria de fazer para a comunidade. Recentemente, fui convidado a fornecer análises estatísticas para um estudo prognóstico de marcadores tumorais . Eu usei principalmente essas duas referências para guiar minha análise: McShane LM, et al. Recomendações de relatórios para estudos prognósticos de marcadores tumorais (REMARK). J …

8 predictive-models  survival  epidemiology  biostatistics  cox-model 

Estou usando a regressão Softmax para um problema de classificação de várias classes. Não tenho probabilidades anteriores iguais para cada uma das classes. Sei pela Regressão Logística (regressão softmax com 2 classes) que as probabilidades anteriores das classes são implicitamente adicionadas ao viés ( ).log(p0/p1)log⁡(p0/p1)\log(p_0/p_1) Normalmente, o que faço é …

8 logistic  prior  unbalanced-classes 

Suponha que temos pontos em um retangular com limite , e esses pontos são distribuídos uniformemente neste plano. (Não conheço bem as estatísticas, portanto não sei a diferença entre escolher uniformemente um nó na área ou escolher uniformemente o eixo- de e eixo de independentemente).nnn[0,a]×[0,b][0,a]×[0,b][0,a] \times [0,b][0,a]×[0,b][0,a]×[0,b][0,a] \times [0,b]xxx[0,a][0,a][0,a]yyy[0,b][0,b][0,b] Dado …

8 probability  distance 

Alguém conhece um pacote R ou tem uma maneira de criar redes de frases como essa?

8 r  data-visualization  text-mining 

Muitos livros e documentos disseram que a interceptação não deve ser suprimida. Recentemente, usei um conjunto de dados de treinamento para criar um modelo de regressão linear com ou sem interceptação. Fiquei surpreso ao descobrir que o modelo sem interceptação prediz melhor do que aquele com uma interceptação em termos …

8 regression  predictive-models 

Como um classificador de conjunto mescla as previsões de seus classificadores constituintes? Estou tendo dificuldade em encontrar uma descrição clara. Em alguns exemplos de código que encontrei, o conjunto apenas calcula a média das previsões, mas não vejo como isso poderia fazer uma precisão geral "melhor". Considere o seguinte caso. …

8 machine-learning  bayesian  random-forest  naive-bayes  ensemble