Estatísticas e Big Data

Quando executo este código: require(nlme) a <- matrix(c(1,3,5,7,4,5,6,4,7,8,9)) b <- matrix(c(3,5,6,2,4,6,7,8,7,8,9)) res <- lm(a ~ b) print(summary(res)) res_gls <- gls(a ~ b) print(summary(res_gls)) Eu obtenho os mesmos coeficientes e a mesma significância estatística nos coeficientes: Loading required package: nlme Call: lm(formula = a ~ b) Residuals: Min 1Q Median 3Q …

8 r  least-squares  generalized-least-squares 

Desculpe pelo título longo, mas meu problema é bastante específico e difícil de explicar em um título. Atualmente, estou aprendendo sobre o Modelo Roy (análise de efeito do tratamento). Há uma etapa de derivação nos meus slides, que eu não entendo. Calculamos o resultado esperado com o tratamento no grupo …

8 normal-distribution  causality  bivariate  truncation 

Acabei de receber uma rejeição de uma revista de economia. Entre os motivos citados para a rejeição estavam: os benefícios do uso do método semi-paramétrico não são evidenciados claramente em comparação com técnicas mais simples alternativas, com identificação limpa de relações causais Certamente é possível que eu pudesse ter feito …

8 nonparametric  econometrics  causality  splines  gam 

Escrevo esta pergunta com referência a um exemplo na p138-142 do seguinte documento: ftp://ftp.software.ibm.com/software/analytics/spss/documentation/amos/20.0/en/Manuals/IBM_SPSS_Amos_User_Guide.pdf . Aqui estão figuras ilustrativas e uma tabela: Entendo que a variável latente não possui métrica natural e que a definição de um fator de carregamento para 1 é feita para corrigir esse problema. No entanto, …

8 factor-analysis  confirmatory-factor 

Estou lendo o artigo "Coordenadas em estrela: uma técnica de visualização multidimensional com tratamento uniforme de dimensões" e tentando plotar meus dados. Digamos que eu tenha , um ponto de dados em cinco dimensões, e os pontos são calculados pela fórmula explicada no artigo. A ( 2 , 5 , …

8 self-study  data-visualization 

Eu tenho alguns conjuntos de dados EEG que estou testando em duas classes. Posso obter uma taxa de erro decente do LDA (as distribuições condicionais de classe não são gaussianas, mas têm caudas semelhantes e separação suficientemente boa) e, portanto, quero plotar o ROC do preditor LDA contra conjuntos de …

8 r  roc  discriminant-analysis 

Eu sou novo no aprendizado de máquina e tento usar o scikit-learn (sklearn) para lidar com um problema de classificação. O DecisionTree e o SVM podem treinar um classificador para esse problema. Uso sklearn.ensemble.RandomForestClassifiere sklearn.svm.SVCajusto os mesmos dados de treinamento (cerca de 500.000 entradas com 50 recursos por entrada). O …

8 machine-learning  classification  svm  scikit-learn 

Preciso calcular o CDF Dirichlet , mas só consigo encontrar implementações do PDF . Vocês conhecem alguma biblioteca (de preferência a R) implementando-a?

8 r  matlab  pdf  cdf  dirichlet-distribution 

Na previsão de séries temporais usando vários modelos como AR, MA, ARMA, etc, geralmente focamos na modelagem dos dados na mudança de tempo. Mas quando temos duas séries temporais em que o coeficiente de correlação de Pearson mostra que elas são altamente correlacionadas, é possível modelar a dependência e os …

8 time-series  correlation  forecasting  var 

Esta é a pergunta de um iniciante em um exercício na “Computação Bayesiana com R” de Jim Albert. Observe que, embora isso possa ser um dever de casa, no meu caso não é, pois estou aprendendo métodos bayesianos em R porque acho que posso usá-lo em minhas análises futuras. De …

8 r  bayesian  simulation 

Estou fazendo um auto-estudo da Teoria das Probabilidades de ETJayne, a lógica da ciência. Eu queria ver que alguém conhece uma página da Web que fornece soluções para os exercícios? Não tenho nenhum professor ou alguém experiente neste livro ao meu redor, preciso garantir que minhas soluções estejam corretas.

8 references 

Perdoe-me se isso estiver fora do escopo do Cross Validated, mas parecia relevante na frente da visualização. Conforme descrito aqui (página 3), existe um fenômeno ao medir a distância entre duas linhas em um gráfico para comparar a menor distância entre as duas linhas, em vez da distância vertical. Isso …

8 data-visualization 

Meu conjunto de dados contém duas variáveis ​​(bastante correlacionadas) (tempo de execução do algoritmo) (número de nós examinados, qualquer que seja). Ambos são fortemente correlacionados pelo design, porque o algoritmo pode gerenciar aproximadamente nós por segundo.ntttnnnccc O algoritmo foi executado em vários problemas, mas foi finalizada se uma solução não …

8 survival  cdf  censoring 

Estamos testando uma campanha de marketing por email. Em nosso teste inicial, enviamos dois tipos de email diferentes e tivemos um terceiro grupo de controle que não recebeu um email. Agora estamos recuperando "resultados" como proporção de usuários que retornaram ao nosso aplicativo. Aqui estão os resultados: Group | received …

8 hypothesis-testing  binomial  multiple-comparisons 

Estou tentando calcular esta distribuição posterior: ( θ | - ) = ∏ni = 1pyEuEu( 1 - pEu)1 - yEu∑todosθ , pEu| θ∏ni = 1pyEuEu( 1 - pEu)1 - yEu(θ|-)=∏Eu=1npEuyEu(1-pEu)1-yEu∑todosθ,pEu|θ∏Eu=1npEuyEu(1-pEu)1-yEu (\theta|-)=\frac{\prod_{i=1}^{n}p_i^{y_i}(1-p_i)^{1-y_i}}{\sum_{\text{all}\,\theta,p_i|\theta}\prod_{i=1}^{n}p_i^{y_i}(1-p_i)^{1-y_i}} O problema é que o numerador, que é o produto de um monte de probabilidades é muito pequeno. (Meu …

8 r  likelihood  posterior