EasySpider 一款可视化爬虫软件。使用图形化界面,无代码设计和执行爬虫任务。开发者只需在网页上选择爬取内容,并根据提示框操作,即可完成爬虫设计和执行。
实现可视化浏览器自动化测试/数据采集/爬虫软件,可以使用图形化界面,无代码可视化的设计和执行任务。只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。
点击上面个人需要软件版本下载安装即可。
这里我安装了win64版本,解压缩打开软件即为下面界面:
可根据自身需要选择合适的选项,比如【使用纯净版浏览器设计】,点击一个【京东】的任务信息:
任务选择了京东,点击【执行任务】后会执行脚本,进行列表采集,如下:
如果需要爬取别的网页信息可以点击【修改任务】,会有如下的提示框,可以从左侧工具箱内将需要的功能拖入到流程图内,如下图所示:
拖动到流程图内的元素可以使用右键来进行节点操作,也可以从最右侧来进行更详细的自定义任务操作。
下面以我的网站采集所有的标题名并保存至excel为例:
首先新建一个任务,选择首页,输入自己的网址:www.xinyixx.com,点击标题,选择同类型全部元素,然后根据右下角的提示选择下一页:
下面是完整工作流:
直到循环结束,那么这个就实现了采集整个网站所有文章标题的任务,跟上面的提示一样,选择【执行任务】,等到【执行完毕】:
爬取完毕后文件会在软件安装目录下的【data】内显示,路径如下:
找到对应时间的Task文件夹,我这里打开csv文件,查看里面的内容:
从下图中可以看到,这个网站已经收录了400余篇文章,将所有的文章标题全都整合到一个csv文件内,非常方便。
我这里只是举了一个简单的例子,感兴趣的同学可以尝试该工具,试着爬取其他网站的图片或者有需要的信息。