使用JS语言的PhantomJS工具爬虫

来源:互联网 时间:2017-01-22


官方文档http://phantomjs.org/api/


1.Mac OS X环境下载安装PhantomJS

在终端键入如下命令
brew update
brew install phantoms
然后可以验证phantomjs是否安装成功,键入
phantomjs --version
可以看到一个版本号,如:2.1.1


2.测试phantomjs

新建一个test.js文件,键入如下代码


console.log('Hello Word');
phantom.exit();


保存后在终端cd到此test.js文件的父文件夹下,再输入命令
phantomjs test.js
会打印Hello Word在终端。



3.熟悉phantoms

新建一个test2.js文件,键入如下代码


console.log('Loading a web page');
var page = require('webpage').create();
var url = 'https://github.com/SoftProgramLX?tab=repositories';
page.open(url, function(status) {
if(status != "success") {
console.log('FAIL to load the address');
phantom.exit();
} else {
console.log('Page is loaded!');
}
page.evaluate(function() {
// window.scrollTo(0,10000);//滚动到底部
//window.document.body.scrollTop = document.body.scrollHeight;
window.setTimeout(function() {
var plist = document.querySelectorAll("a");
var len = plist.length;
while(len) {
len--;
var el = plist[len];
el.style.border = "1px solid red";
}
}, 5000);
});
console.log(page.evaluate(function() {
var d = ''
var c = document.querySelectorAll('.repo-list-name > a')
var l = c.length;
for(var i = 0; i < l; i++) {
d = d + c[i].textContent + '/n'
}
d = d + '共有'+ l + '个demo' + '/n'
return d
}))
window.setTimeout(function() {
page.render("js.png");
phantom.exit();
}, 5000 + 500);
});

功能:

a.将打开的网页里的所有链接都加上"1px solid red"这样的边框。如下图:



js.png

b.将将网页截屏保存为js.png。如上图


c.将我的github里的demo名称都打印到终端或保存到txt文件。


输入命令
phantomjs test2.js
后打印到了终端,如下图:



0488388C-6C36-44F5-B03C-F2D9B7AF35D5.png

输入命令
phantomjs test2.js > result.txt
后保存到了txt文件,如下图:

64875951-4A04-496A-AF5F-DF60674AECD5.png


代码解析:
本例用我的github网址做测试,使用page.open(url, function(status)打开网址。
phantom.exit();需要关闭PhantomJS。
page.evaluate()提供了在page打开页面的上下文执行function的功能。
document.querySelectorAll("a");这是查询所有的a元素。为了加上边框。
document.querySelectorAll('.repo-list-name > a');这是查询class为repo-list-name的元素的直接后代a元素。为了取到所有demo的名称。

熟悉js与css是更好的操作PhantomJS爬虫技术的必要条件。


QQ:2239344645 我的github




相关阅读:
Top