Блог did5.ru

Появилась задача проверить существование веб-страниц на сайте. Адреса страниц имеют следующий вид — http://www.mysite.ru/pages/1, где последний параметр адреса это порядковый номер страницы – от 1 до 999. Для решения задачи решил использовать Node.js:

var http = require('http');
var url = require('url');

function getPageStatus(pageurl) {
var options = {
host: url.parse(pageurl).host,
port: 80,
path: url.parse(pageurl).pathname
};
http.get(options, function(res) {
if(res.statusCode === 200){
console.log(options.path+' - страница есть!');
}else{
console.log(options.path+' - страницы нет!');
}
});
};

var pathUser = 'http://www.mysite.ru/pages/';
for(var i=0;i<1000;i++){
getPageStatus(pathUser+i);
};

Для протосы скрипт выводит результат в консоль. В данной итерации результат оценивается просто визуально, но можно усовершенстовать скрипт, повесив счетчик, например.