有了上次使用模板爬取数据的经验,相信大家应该能熟练使用章鱼收集器了。或许有朋友好奇,是不是只能通过软件预设的模板抓取数据?当然不是,章鱼收集器还有自定义收集功能。
对于用户收集他们想要的数据,定制比预置模块更加灵活。虽然比预置模板复杂,但爬取的数据更符合你的意愿。本文将为大家带来章鱼收集器的定制模块教程。
第一步
首先启动并登录你的octopus collector,进入主界面,点击新建下的新建任务组,创建一个新组。
单击“确定”创建新组。
第二步
创建组后,点击【新建】下的自定义任务,得到这样的界面。
我们可以寻找我们想要抓取的网页的链接。在这里,边肖去JD.COM搜索手机,当搜索结果出来时,我们可以复制链接。
将我们复制的链接粘贴到URL列,将任务组更改为之前创建的组,然后单击[保存设置]。
第三步
保存设置后会跳转到抓取界面,软件会自动开始识别网页中要抓取的部分。对应的等待时间根据个人机器的网速不同而不同。
鉴定完成后,我们可以看到有很多数据,很多是没用的,需要淘汰。
将光标移动到表格字段,将出现两个图标。钢笔图标是改变字段名,垃圾桶是删除这个字段。
我们可以随意删除和更改字段名,这里边肖只保留上图中的字段。
第四步
设置完字段后,我们将注意力转向上图中的小方框。第一个不是可选的,我们直接忽略。
在采集前滚动页面加载更多数据:因为现在很多网站都使用动态页面,有些内容在加载时不会显示,只有我们下拉时才会逐渐显示,而这个功能就是为了防止这种情况的发生。
翻页并收集多页数据:设置为抓取多页,如果未选中,则仅抓取当前页面。
点击列表中的XXX,收藏下一页:此功能允许我们抓取子页面中的内容。
这里我们不深入抓取,只勾选前两项,然后点击【生成收藏设置】。
点击生成后,您将开始保存或查看。点击此处保存并开始收集。
第五步
到了这个界面后,我们可以看到一个细致的流程,内循环列表中就是本页内爬取的内容。
我们点击外循环的设置按钮。
展开退出循环设置,勾选循环执行次数,这里我们仅爬取3页。
开始采集
采集完成,点击导出。
另外,如果你爬取的页面内有重复数据,软件也会直接提示,根据自己情况选择保留或去除。
导出方式
导出文件的保存位置
保存完成
查看数据
以上就是小编为大家带来的八爪鱼采集器自定义模块教程,熟练使用后相信小伙伴们能采集的数据就更多了,使用八爪鱼采集器采集数据后,可以根据采集的数据进行分析,完成各种任务,希望本文能为大家带来帮助。