Um rastreador simples usando Cheerio
Esta é minha fórmula para criar um rastreador simples no Node.js. É o principal motivo para querer manipular o DOM no servidor e, provavelmente, é o motivo pelo qual você chegou aqui.
Primeiro, use requestpara baixar a página a ser analisada. Quando o download estiver concluído, manipule-o cheerioe inicie a manipulação do DOM, assim como o jQuery.
Exemplo de trabalho:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Este exemplo imprimirá no console todas as principais perguntas exibidas na home page do SO. É por isso que eu amo o Node.js e sua comunidade. Não poderia ficar mais fácil do que isso :-)
Instale dependências:
solicitação de instalação npm cheerio
E execute (assumindo que o script acima esteja no arquivo crawler.js):
nó crawler.js
Codificação
Algumas páginas terão conteúdo em inglês em uma determinada codificação e você precisará decodificá-lo UTF-8. Por exemplo, uma página em português do Brasil (ou qualquer outro idioma de origem latina) provavelmente será codificada em ISO-8859-1(aka "latin1"). Quando a decodificação é necessária, digo requestpara não interpretar o conteúdo de nenhuma maneira e, em vez disso, uso iconv-litepara fazer o trabalho.
Exemplo de trabalho:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Antes de executar, instale dependências:
solicitação de instalação do npm iconv-lite cheerio
E finalmente:
nó crawler.js
Links a seguir
O próximo passo seria seguir os links. Digamos que você queira listar todos os pôsteres de cada pergunta principal no SO. Você deve primeiro listar todas as perguntas principais (exemplo acima) e depois inserir cada link, analisando a página de cada pergunta para obter a lista de usuários envolvidos.
Quando você começa a seguir os links, um inferno de retorno de chamada pode começar. Para evitar isso, você deve usar algum tipo de promessas, futuros ou o que for. Eu sempre assíncrono no meu cinto de ferramentas. Então, aqui está um exemplo completo de um rastreador usando assíncrono:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Antes de executar:
solicitação de instalação npm assíncrona cheerio
Execute um teste:
nó crawler.js
Saída de amostra:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
E esse é o básico que você deve saber para começar a criar seus próprios rastreadores :-)
Bibliotecas usadas