Classificadores de aprendizado de máquina big-O ou complexidade

Para avaliar o desempenho de um novo algoritmo classificador, estou tentando comparar a precisão e a complexidade (grande O no treinamento e classificação). No Machine Learning: uma revisão , recebo uma lista completa de classificadores supervisionados, também uma tabela de precisão entre os algoritmos e 44 problemas de teste no repositório de dados da UCI . No entanto, não consigo encontrar uma crítica, documento ou site com o big-O para classificadores comuns como:

• C4.5
• RIPPER (acho que isso pode não ser possível, mas quem sabe)
• RNA com Propagação Traseira
• Ingênuo bayesiano
• K-NN
• SVM

Se alguém tiver alguma expressão para esses classificadores, será muito útil, obrigado.

Seja = número de exemplos de treinamento, d = dimensionalidade dos recursos ec = número de aulas.$N$$d$$c$

Então o treinamento tem complexidades:

1. Naive Bayes é , tudo o que precisa fazer é calcular a frequência de cada valor de recurso d i para cada classe.$O(Nd)$$d_i$
2. -NN está em O ( 1 ) (algumas pessoas até dizem que é inexistente, mas a complexidade espacial do treinamento é O ( N d ), pois você precisa armazenar os dados, o que também leva tempo).$k$$\mathcal{O}(1)$$\mathcal{O}(Nd)$
3. SVM não linear não aproximado é O ( N 2 ) ou O ( N 3 ), dependendo do kernel. Você pode obter um O ( N 3 ) abaixo de O ( N 2.3 ) com alguns truques.$O(N^2)$$O(N^3)$$O(N^3)$$O(N^{2.3})$
4. SVM aproximado é , onde R é o número de iterações.$O(NR)$

Complexidades de teste:

1. O ingênuo Bayes está em pois é necessário recuperar d valores de recursos para cada uma das classes c .$\mathcal{O}(cd)$$d$$c$
2. -NN está em O ( N d ), pois você precisa comparar o ponto de teste com todos os pontos de dados do seu banco de dados.$k$$\mathcal{O}(Nd)$

Fonte: "Máquinas vetoriais principais: treinamento rápido sobre SVM em conjuntos de dados muito grandes" - http://machinelearning.wustl.edu/mlpapers/paper_files/TsangKC05.pdf

Desculpe, eu não sei sobre os outros.