Estatísticas e Big Data

Estou tentando fazer um detector de objetos que ocorrem muito raramente (em imagens), planejando usar um classificador binário da CNN aplicado em uma janela deslizante / redimensionada. Eu construí conjuntos de teste e treinamento positivo-negativos equilibrados 1: 1 (é a coisa certa a se fazer nesse caso, btw?), E o …

11 logistic  classification  unbalanced-classes  loss-functions 

Eu preciso de um algoritmo para fazer uma pesquisa binária quando o teste em cada etapa pode dar o resultado errado. Antecedentes: preciso colocar os alunos nos 12 níveis de dificuldade mais adequados. A abordagem atual é a força bruta e faz 60 perguntas de múltipla escolha com 4 respostas …

11 algorithms 

Ou seja, fazer uma análise seqüencial (você não sabe com antecedência exatamente quantos dados coletará) com métodos freqüentes requer cuidados especiais; você não pode simplesmente coletar dados até que o valor p fique suficientemente pequeno ou que um intervalo de confiança se torne suficientemente curto. Mas, ao fazer uma análise …

11 bayesian  inference  philosophical  sequential-analysis 

Os antecedentes do meu estudo : Em uma amostragem de Gibbs em que amostramos (a variável de interesses) e de e respectivamente, onde e são vetores aleatórios em dimensionais. Sabemos que o processo geralmente é dividido em duas etapas:Y P ( X | Y ) P ( Y | X …

11 hypothesis-testing  covariance  covariance-matrix  gibbs 

Pergunta: como é uma distribuição binomial bivariada no espaço tridimensional? Abaixo está a função específica que eu gostaria de visualizar para vários valores dos parâmetros; ou seja, , e .nnnp1p1p_{1}p2p2p_{2} f(x1,x2)=n!x1!x2!px11px22,x1+x2=n,p1+p2=1.f(x1,x2)=n!x1!x2!p1x1p2x2,x1+x2=n,p1+p2=1.f(x_{1},x_{2}) = \frac{n!}{x_{1}!x_{2}!}p_{1}^{x_{1}}p_{2}^{x_{2}}, \qquad x_{1}+x_{2}=n, \quad p_{1}+p_{2}=1. Observe que existem duas restrições; e . Além disso, é um número inteiro …

11 probability  data-visualization  binomial  discrete-data  distributions 

Eu tenho um aplicativo protegido por um PIN de quatro dígitos e o usuário teve cinco tentativas de fazer login antes de a conta ser bloqueada. Agora, um dos meus clientes deseja "fortalecer" a segurança e advogar por outra solução: PIN de seis dígitos NÃO "mesmo dígito um ao lado …

11 combinatorics 

Então, nós tivemos o Papai Noel Secreto no trabalho. Somos 8 pessoas. Cada um de nós se revezou e puxou um pequeno pedaço de papel de uma tigela com um nome. A única regra: se você digitar seu nome, precisará colocar o pedaço de papel de volta na tigela e …

11 combinatorics  odds 

O hiperplano ideal no SVM é definido como: w ⋅ x + b = 0 ,w⋅x+b=0,\mathbf w \cdot \mathbf x+b=0, onde representa o limite. Se tivermos algum mapeamento que mapeia o espaço de entrada para algum espaço , podemos definir SVM no espaço , onde o hiperplano ideal será:ϕ Z …

11 svm  threshold 

Eu sempre li o termo interação no contexto de regressão. Também devemos considerar interações com diferentes modelos, por exemplo, knn ou svm? Se houver , ou mais recursos e, digamos, observações, qual é a maneira usual de encontrar interações úteis? Tente todas as combinações? Ou use apenas combinações que façam …

11 machine-learning  interaction  terminology 

Parece haver algo em nosso entendimento humano que cria dificuldades em compreender intuitivamente a idéia de variação. Num sentido estrito, a resposta é imediata: a quadratura nos afasta da nossa compreensão reflexiva. Mas, é apenas a variação que apresenta problemas ou é toda a idéia de espalhar nos dados? Buscamos …

11 variance  dispersion 

Eu estava lendo casualmente um artigo (em economia) que tinha a seguinte aproximação para :registro( E( X) ))log⁡(E(X))\log(E(X)) registro( E( X) ) ≈ E( log( X) ) + 0,5 v a r ( log( X) ))log⁡(E(X))≈E(log⁡(X))+0.5var(log⁡(X))\log(E(X)) \approx E(\log(X))+0.5 \mathrm{var}(\log(X)) , que o autor diz ser exato se X é log-normal …

11 lognormal  approximation  taylor-series 

A seguir, um trecho da Introdução às Estatísticas Bayesianas de Bolstad . Para todos os especialistas por aí, isso pode ser trivial, mas não entendo como o autor conclui que não precisamos fazer nenhuma integração para calcular a probabilidade posterior de algum valor de . Entendo a segunda expressão, que …

11 distributions  bayesian  beta-distribution  conjugate-prior 

Estou tentando construir uma prova para um problema em que estou trabalhando e uma das suposições que estou fazendo é que o conjunto de pontos dos quais estou amostrando é denso em todo o espaço. Na prática, estou usando a amostragem de hipercubo latino para obter meus pontos em todo …

11 sampling  asymptotics  latin-square  latin-hypercube 

Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Estou procurando recursos (livros, anotações de aula etc.) sobre técnicas que podem lidar com dados que têm vários destinos (Ex: três variáveis ​​dependentes: 2 discretas e 1 contínua). Alguém tem algum recurso / conhecimento sobre isso? Eu sei que é possível usar redes neurais para isso.

11 regression  machine-learning  predictive-models  references