开源软件名称:easy-spider
开源软件地址:https://gitee.com/wben107/easy-spider
开源软件介绍:
easy-node-spider介绍这是个基于request和async模块的简单爬虫,参数和request参数相同 软件架构软件架构说明 安装教程- npm install
使用说明- var Spider = require('easy-node-spider')
- var esp = new Spider(paramList,limit,timer);
- esp.run(dealcallback,callback);
参数说明paramList是一个request的请求参数的数组
参数 | 是否必须 | 示例 | 备注 |
---|
paramList | 是 | ['http://www.baidu.com'] | 请求参数的数组或url数组 | limit | 否 | 1 | 设置最大线程默认是1 | timer | 否 | 1000 | 设置每个请求间隔的时间默认是0 | dealcallback | 是 | dealcallback(err,body,data,callback) | 单个数据的处理函数 | callback | 是 | callback(result) | 处理最后的结果数组 | |
请发表评论