Estatísticas e Big Data

Que situações sabemos onde a descida do gradiente pode convergir (para um ponto crítico ou para um mínimo local / global) para funções não convexas? Para o SGD em funções não convexas, um tipo de prova foi revisado aqui, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent  gradient  sgd  non-convex 

Deixei K=(K11K21K12K22)K=(K11K12K21K22)K=\begin{pmatrix} K_{11} & K_{12}\\ K_{21} & K_{22} \end{pmatrix} ser um simétrico positivo semidefinido matriz real (PSD) com . Então, por , | r | ≤ 1K12=KT21K12=K21TK_{12}=K_{21}^T|r|≤1|r|≤1|r| \le 1 K∗=(K11rK21rK12K22)K∗=(K11rK12rK21K22)K^*=\begin{pmatrix} K_{11} & rK_{12}\\ rK_{21} & K_{22} \end{pmatrix} também é uma matriz PSD. As matrizes e são e denota a matriz …

9 matrix  linear-algebra 

Deixe . Sabemos que e . Isso implica que a média da amostra e a variação da amostra são dependentes uma da outra? Ou significa apenas que a variação da população pode ser escrita em função da média da população ?E [ X ] = n p V a r …

9 distributions  binomial  independence 

Eu sei que o tamanho da amostra afeta o poder em qualquer método estatístico. Existem regras para quantas amostras uma regressão precisa para cada preditor. Também ouço muitas vezes que o número de amostras em cada categoria na variável dependente de uma regressão logística é importante. Por que é isso? …

9 logistic  assumptions  rare-events 

Eu tenho um modelo de regressão simples ( y = param1 * x1 + param2 * x2 ). Quando ajusto o modelo aos meus dados, encontro duas boas soluções: A solução A, parâmetros = (2,7), é melhor no conjunto de treinamento com RMSE = 2,5 MAS! Parâmetros da solução B …

9 regression  cross-validation  overfitting  sensitivity-analysis 

Eu sou bastante novo na análise de sobrevivência. Fui aconselhado a procurar e aprender os resíduos de Schoenfeld como parte de um diagnóstico de modelo para verificar se a suposição de risco proporcional foi atendida. Ao pesquisar isso, vi referências a muitos tipos diferentes de resíduos, incluindo: Cox-Snell Desvio Martingale …

9 references  survival  residuals  cox-model  schoenfeld-residuals 

Neste https://cs231n.github.io/neural-networks-case-study/, por que ele menciona "o classificador Softmax interpreta todos os elementos de ff como mantendo as probabilidades de log (não normalizadas) das três classes". Entendo por que não é normalizado, mas não por que é log? O que significa uma probabilidade de log? Por que não dizer probabilidades …

9 machine-learning  neural-networks  information-theory  softmax 

É sabido que, dada uma variável aleatória com valor real com pdf , a média de (se existir) é encontrada por XXXfffXXXE[X]=∫Rxf(x)dx.E[X]=∫Rxf(x)dx.\begin{equation} \mathbb{E}[X]=\int_{\mathbb{R}}x\,f(x)\,\mathrm{d}x\,. \end{equation} Pergunta geral: Agora, se alguém não pode resolver a integral acima em forma fechada, mas quer simplesmente determinar se a média existe e é finita, existe …

9 distributions  mathematical-statistics  expected-value 

Enquanto aprendia a calcular matrizes de covariância e correlação e seus inversos em VB e T-SQL há alguns anos, aprendi que as várias entradas têm propriedades interessantes que podem torná-las úteis nos cenários certos de mineração de dados. Um exemplo óbvio é a presença de variações nas diagonais das matrizes …

9 self-study  covariance  covariance-matrix  correlation-matrix  determinant 

Oi, eu estou estudando técnicas de regressão. Meus dados têm 15 recursos e 60 milhões de exemplos (tarefa de regressão). Quando tentei muitas técnicas conhecidas de regressão (árvore com aumento de gradiente, regressão em árvore de decisão, AdaBoostRegressor etc.), a regressão linear teve um ótimo desempenho. Pontuação quase melhor entre …

9 regression  modeling  deep-learning  model  cart 

Estou usando o modelo pré-treinado de Rede Neural Convolucional do TensorFlow. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 Encontrei a seguinte frase: No entanto, para tarefas de previsão densa, recomendamos que se use entradas com dimensões espaciais que são múltiplos de 32 mais 1, por exemplo, [321, 321]. Alguém sabe o que é previsão densa nesta …

9 neural-networks  conv-neural-network 

Entendo a intuição por trás do MCP, mas estou tendo problemas para identificar exatamente a causa, o que deve ser evitado ou, pelo menos, considerado. Na sua definição mais brusca, concordo que, se eu pegar algum dado e aplicar uma abordagem de força bruta para tentar todas as hipóteses nulas …

9 hypothesis-testing  multiple-comparisons 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 2 anos . Poderia ser a partir dos próprios dados? Ou é porque …

9 classification  supervised-learning 

Eu tenho tentado criar um programa para treinar redes neurais no meu computador. Para a rede em questão, decidi usar a função Erro de entropia cruzada: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Onde é a saída alvo do neurônio e é a saída desse neurônio, tentando prever .tjtjt_jjjjojojo_jtjtjt_j Eu quero saber o …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Estou treinando um classificador binário SVM usando o Scikit learn. Devido à natureza do meu problema, preciso evitar falsos negativos. Como nada é gratuito, estou bem em obter uma taxa mais alta de falsos positivos, a fim de reduzir o número de falsos negativos. Como podemos fazer isso (idealmente com …

9 machine-learning  cross-validation  svm  python  scikit-learn