海诗网 头条热点 八爪鱼自动采集(八爪鱼采集器怎么使用方法)

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

有了上次使用模板爬取数据的经验,相信大家应该能熟练使用章鱼收集器了。或许有朋友好奇,是不是只能通过软件预设的模板抓取数据?当然不是,章鱼收集器还有自定义收集功能。

对于用户收集他们想要的数据,定制比预置模块更加灵活。虽然比预置模板复杂,但爬取的数据更符合你的意愿。本文将为大家带来章鱼收集器的定制模块教程。

第一步八爪鱼自动采集(八爪鱼采集器怎么使用方法)

首先启动并登录你的octopus collector,进入主界面,点击新建下的新建任务组,创建一个新组。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

单击“确定”创建新组。

第二步八爪鱼自动采集(八爪鱼采集器怎么使用方法)

创建组后,点击【新建】下的自定义任务,得到这样的界面。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

我们可以寻找我们想要抓取的网页的链接。在这里,边肖去JD.COM搜索手机,当搜索结果出来时,我们可以复制链接。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

将我们复制的链接粘贴到URL列,将任务组更改为之前创建的组,然后单击[保存设置]。

第三步八爪鱼自动采集(八爪鱼采集器怎么使用方法)

保存设置后会跳转到抓取界面,软件会自动开始识别网页中要抓取的部分。对应的等待时间根据个人机器的网速不同而不同。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

鉴定完成后,我们可以看到有很多数据,很多是没用的,需要淘汰。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

将光标移动到表格字段,将出现两个图标。钢笔图标是改变字段名,垃圾桶是删除这个字段。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

我们可以随意删除和更改字段名,这里边肖只保留上图中的字段。

第四步八爪鱼自动采集(八爪鱼采集器怎么使用方法)

设置完字段后,我们将注意力转向上图中的小方框。第一个不是可选的,我们直接忽略。

在采集前滚动页面加载更多数据:因为现在很多网站都使用动态页面,有些内容在加载时不会显示,只有我们下拉时才会逐渐显示,而这个功能就是为了防止这种情况的发生。

翻页并收集多页数据:设置为抓取多页,如果未选中,则仅抓取当前页面。

点击列表中的XXX,收藏下一页:此功能允许我们抓取子页面中的内容。

这里我们不深入抓取,只勾选前两项,然后点击【生成收藏设置】。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

点击生成后,您将开始保存或查看。点击此处保存并开始收集。

第五步八爪鱼自动采集(八爪鱼采集器怎么使用方法)

到了这个界面后,我们可以看到一个细致的流程,内循环列表中就是本页内爬取的内容。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

我们点击外循环的设置按钮。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

展开退出循环设置,勾选循环执行次数,这里我们仅爬取3页。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

开始采集

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

采集完成,点击导出。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

另外,如果你爬取的页面内有重复数据,软件也会直接提示,根据自己情况选择保留或去除。

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

导出方式

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

导出文件的保存位置

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

保存完成

八爪鱼自动采集(八爪鱼采集器怎么使用方法)

查看数据

以上就是小编为大家带来的八爪鱼采集器自定义模块教程,熟练使用后相信小伙伴们能采集的数据就更多了,使用八爪鱼采集器采集数据后,可以根据采集的数据进行分析,完成各种任务,希望本文能为大家带来帮助。

本文来自网络,不代表海诗网立场,转载请注明出处:https://www.hallse.com/n/166287.html
      

办公软件excel表格(excel官方下载)

发表回复
联系我们
联系我们

在线咨询: QQ交谈

邮箱: 3587015498@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们
微信扫一扫关注我们
关注微博
返回顶部