Estatísticas e Big Data

Eu quero realizar um teste T de duas amostras para testar a diferença entre duas amostras independentes, cada uma das quais cumpre as premissas do teste T (cada distribuição pode ser assumida como independente e distribuída de forma idêntica como Normal com variação igual) . A única complicação do teste …

12 t-test 

Eu tenho um conjunto de dados composto por elementos de três grupos, vamos chamá-los de G1, G2 e G3. Analisei certas características desses elementos e os dividi em 3 tipos de "comportamento" T1, T2 e T3 (usei a análise de cluster para fazer isso). Então, agora eu tenho uma tabela …

12 contingency-tables 

Alguém sabe de uma variação do teste exato de Fisher que leva em consideração os pesos? Por exemplo, pesos de amostragem . Portanto, em vez da tabela cruzada 2x2 usual, todo ponto de dados tem um valor de "massa" ou "tamanho" que pesa o ponto. Dados de exemplo: A B …

12 hypothesis-testing 

Quando você tenderia a usar as curvas ROC sobre outros testes para determinar a capacidade preditiva de alguma medida em um resultado? Ao lidar com resultados discretos (vivo / morto, presente / ausente), o que torna as curvas ROC mais ou menos poderosas do que algo como um qui-quadrado?

12 regression  roc 

My question is directed to techniques to deal with incomplete data during the classifier/model training/fitting. For instance, in a dataset w/ a few hundred rows, each row having let's say five dimensions and a class label as the last item, most data points will look like this: [0.74, 0.39, 0.14, …

12 missing-data 

Em inglês simples, como interpretar um enredo de Bland-Altman? Quais são as vantagens de usar um gráfico de Bland-Altman sobre outros métodos de comparação de dois métodos de medição diferentes?

12 data-visualization  bland-altman-plot 

Minha pergunta é simples assim: o que é estimativa conjunta? E o que isso significa no contexto da análise de regressão? Como isso é feito? Eu vaguei na poderosa Internet por algum tempo, mas não encontrei respostas para essas perguntas.

12 regression  estimation  terminology 

Suponha que tenhamos um conjunto (mensurável e adequadamente comportado) S⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb R^n , onde BBB é compacto. Além disso, suponha que possamos extrair amostras da distribuição uniforme sobre BBB na medida de Lebesgue λ(⋅)λ(⋅)\lambda(\cdot) e que conhecemos a medida λ(B)λ(B)\lambda(B) . Por exemplo, talvez BBB é uma caixa de [−c,c]n[−c,c]n[-c,c]^n …

12 probability  monte-carlo  unbiased-estimator  measure-theory 

Eu ajustei meu modelo e estou tentando entender se é bom. Calculei as métricas recomendadas para avaliá-las ( / AUC / precisão / erro de previsão / etc), mas não sei como interpretá-las. Em resumo, como posso saber se meu modelo é bom com base na métrica? Um de 0,6 …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Na análise bayesiana conjugada da distribuição gaussiana de Kevin Murphy , ele escreve que a distribuição preditiva posterior é p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta onde são os dados nos quais o modelo está ajustado e são dados não vistos. O que …

12 bayesian  predictive-models  inference  posterior 

No sensor comprimido, existe uma garantia do teorema de que possui uma solução esparsa exclusiva c (consulte o apêndice para obter mais detalhes).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe um teorema semelhante para o laço? Se existe um teorema, ele não …

12 regression  self-study  feature-selection  lasso  regularization 

No livro Deep Learning de Ian Goodfellow , está escrito que Às vezes, a função de perda com a qual realmente nos preocupamos (digamos, erro de classificação) não é aquela que pode ser otimizada com eficiência. Por exemplo, minimizar exatamente a perda esperada de 0-1 é tipicamente intratável (exponencial na …

12 neural-networks  deep-learning  loss-functions 

Li em vários lugares que R Squared não é uma medida ideal quando um modelo é adequado usando o LASSO. No entanto, não estou claro exatamente por que isso acontece. Além disso, você poderia recomendar a melhor alternativa?

12 regression  lasso  r-squared  penalized 

O uso de "variacional" sempre se refere à otimização por inferência variacional? Exemplos: "Auto-codificador variacional" "Métodos bayesianos variacionais" "Grupo de renormalização variacional"

12 machine-learning  optimization  inference 

Estou procurando literatura sobre regressão negativa da crista . Em suma, isto é uma generalização de regressão linear utilizando cume negativo λλ\lambda na fórmula β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.O caso positivo tem uma teoria legal: como uma função de perda, como uma restrição, como um …

12 regression  regularization  ridge-regression