Estatísticas e Big Data

Sempre fui ensinado que o CLT funciona quando você realiza amostragens repetidas, sendo cada amostra grande o suficiente. Por exemplo, imagine que eu tenho um país de 1.000.000 cidadãos. Meu entendimento do CLT é que, mesmo que a distribuição de suas alturas não fosse normal, se eu fizesse 1000 amostras …

12 sampling  central-limit-theorem 

Estou curioso sobre a nomenclatura: por que o desvio à esquerda é chamado de desvio negativo e o desvio à direita é chamado de desvio positivo?

12 terminology  skewness 

Agora, existem várias abordagens diferentes para realizar uma meta-análise de rede ou comparação de tratamentos mistos. Os mais usados ​​e acessíveis são provavelmente os seguintes: em uma estrutura bayesiana : abordagem de interação design por tratamento no WinBUGS (por exemplo, Jackson et al ); modelagem bayesiana hierárquica baseada em braço …

12 r  stata  sas  winbugs  network-meta-analysis 

Como codificar a data e hora de um evento para uma rede neural? Não tenho uma série temporal contínua, mas alguns eventos com data e hora, e analiso algum tipo de interesse. Esse interesse difere entre manhãs e tardes, e entre dias úteis, e entre verão e inverno, e antes …

12 neural-networks  deep-learning 

Suponha que eu tenha as seguintes séries temporais não periódicas. Obviamente, a tendência está diminuindo e eu gostaria de provar isso por algum teste (com valor-p ). Não consigo usar a regressão linear clássica devido à forte correlação temporal (serial) entre os valores. library(forecast) my.ts <- ts(c(10,11,11.5,10,10.1,9,11,10,8,9,9, 6,5,5,4,3,3,2,1,2,4,4,2,1,1,0.5,1), start = …

12 r  time-series 

Lendo Aproximando- me das convoluções , deparei-me com uma camada DepthConcat , um componente dos módulos de criação propostos , que combina a saída de vários tensores de tamanhos variados. Os autores chamam isso de "concatenação de filtro". Parece haver uma implementação para o Torch , mas eu realmente não …

12 neural-networks  torch  conv-neural-network 

Estou tentando ajustar um modelo simples de lei de energia a um conjunto de dados da seguinte maneira: mydf: rev weeks 17906.4 1 5303.72 2 2700.58 3 1696.77 4 947.53 5 362.03 6 O objetivo é passar a linha de força e usá-la para prever revvlaues para as próximas semanas. …

12 r  predictive-models  nonlinear-regression  power-law  nls 

Estou trabalhando com a biblioteca scikit-learn em python. No código abaixo, estou prevendo probabilidade, mas não sei ler a saída. Testando dados from sklearn.ensemble import RandomForestClassifier as RF from sklearn import cross_validation X = np.array([[5,5,5,5],[10,10,10,10],[1,1,1,1],[6,6,6,6],[13,13,13,13],[2,2,2,2]]) y = np.array([0,1,1,0,1,2]) Dividir o conjunto de dados X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, …

12 python  scikit-learn 

Entendo o raciocínio por trás da normalização de colunas, pois faz com que os recursos sejam ponderados igualmente, mesmo que não sejam medidos na mesma escala - no entanto, geralmente na literatura do vizinho mais próximo, colunas e linhas são normalizadas. Qual é a normalização de linha / por que …

12 normalization  distance  similarities  k-nearest-neighbour 

Basta saber se é possível encontrar o valor esperado de x se ele é normalmente distribuído, dado que está abaixo de um determinado valor (por exemplo, abaixo do valor médio).

12 normal-distribution  conditional-probability  expected-value 

Por que a análise de séries temporais não é considerada um algoritmo de aprendizado de máquina (ao contrário da regressão linear). A análise de regressão e de séries temporais são métodos de previsão. Então, por que um deles é considerado um algoritmo de aprendizado, mas não o outro?

12 regression  machine-learning  time-series  terminology 

Estou tentando aplicar o teste exato de Fisher em um problema genético simulado, mas os valores de p parecem distorcidos à direita. Sendo biólogo, acho que estou perdendo algo óbvio para todos os estatísticos, por isso gostaria muito de receber sua ajuda. Minha configuração é a seguinte: (configuração 1, marginais …

12 p-value  fishers-exact 

A seguir, um modelo criado a partir do mtcarsconjunto de dados: > ols(mpg~wt+am+qsec, mtcars) Linear Regression Model ols(formula = mpg ~ wt + am + qsec, data = mtcars) Model Likelihood Discrimination Ratio Test Indexes Obs 32 LR chi2 60.64 R2 0.850 sigma 2.4588 d.f. 3 R2 adj 0.834 d.f. …

12 regression  multiple-regression  r-squared 

Estou lendo sobre distribuições anteriores e calculei Jeffreys antes para uma amostra de variáveis ​​aleatórias normalmente distribuídas com média e variação desconhecidas. De acordo com meus cálculos, o seguinte é válido para Jeffreys anterior: Aqui, sou a matriz de informações de Fisher.Eup ( μ , σ2) = de t ( …

12 bayesian  normal-distribution  prior  jeffreys-prior 

Estou tentando resolver uma tarefa chamada detecção de pedestres e treino clasifer binário em duas categorias positivas - pessoas, negativos - antecedentes. Eu tenho um conjunto de dados: número de positivos = 3752 número de negativo = 3800 Eu uso train \ test split 80 \ 20% e RandomForestClassifier forma …

12 classification  random-forest  unbalanced-classes  precision-recall  computer-vision