5
新手入门 功能点介绍

【智能模式】【流程图模式】如何使用智能策略的代理功能

2024-11-08 13:35:32
浏览 290 次

摘要:后羿采集器有切换代理的功能,该功能需要接入第三方IP商来进行IP切换。本文主要针对智能策略的代理功能进行说明。 免费下载软件

后羿采集器有切换代理的功能,该功能需要接入第三方IP商来进行IP切换。本文主要针对智能策略的代理功能进行说明。

【温馨提示】后羿采集器的代理切换功能至少需要个人专业版,具体价格请参考官网价格页。IP由第三方公司提供,需要另外购买不包含在套餐内

1. 代理接口配置

代理切换功能在启动设置界面的智能策略中进行设置,如下图所示:

后羿采集器目前支持对接大部分第三方代理供应商,以下为部分代理供应商的对接方法:

如何使用智能策略对接熊猫代理

如何使用智能策略对接小象代理

如何使用智能策略对接快代理

如何使用智能策略对接青果代理

如何使用智能策略对接豌豆代理

2. 切换条件

后羿采集器提供两种切换条件,您可以根据自己需求选择对应的切换条件。

1)按时间间隔切换

时间间隔可以设置“1分钟”“3分钟”“5分钟”“10分钟”。例如您设置切换条件为“每隔:3分钟”,那么每隔3分钟就会切换一次代理,同时会消耗一个代理IP。

【温馨提示】不同的代理商IP时效不一样,请根据代理商官网的IP时效进行间隔设置。例如您购买的IP时效为3分钟,那么如果时间间隔设置成10分钟的话,可能会出现在软件进行代理切换之前IP已经失效的情况。所以为了避免出现因IP失效而影响采集的情况,请向您购买的代理商进行IP时效的咨询。

【温馨提示】按照时间切换代理并不意味着时间一到就切换IP,因为对网页进行操作(例如打开网页或者点击按钮等)都需要一个加载过程,在前一次页面操作之后和下一次操作之前,网页需要加载并显示内容,如果设置的时间间隔已经到达,此时是不会切代理IP的,因为这个时候切换代理IP将会导致当前页面内容发生变化,所以此时即使设置的切换时间已经到达,软件仍然需要等到下一次页面操作之后才切换代理IP。

2)按文本切换

根据文本进行切换,例如您设置切换条件为“当页面中出现该文本:提示文本”,那么网页中出现对应的文本时,就会切换一次代理,同时消耗一个代理IP。

如果存在多个切换文本的条件,请使用“||”进行分割,例如 A||B||C,即表示当出现A或者B或者C时切换代理。

【温馨提示】设置切换条件为文本时,只有文本完全匹配时才会切换代理,如果文本发生变化则不会起作用,所以只有在每次都出现固定文本时才能适合使用该设置。有的时候页面中的提示并不是文本,而是图片,这种情况下使用文本作为切换条件就是不合适的。此外,代理IP均存在一定的有效时长,在代理有效时长结束之前如果出现文本则立即会切换代理IP,如果没有出现文本则在当前代理IP失效之后切换新代理IP。

这两种切换条件没有优劣之分,您需要根据采集网址的特点进行调试,方能达到比较高的性价比。

3.在编辑界面使用代理切换功能

在编辑任务的时候也可能遇到需要切换代理的情况,后羿采集器在任务编辑界面有一个手动切换代理的功能,如下图所示:

对于新创建的任务,由于还未添加对接的代理商,此时手动切换代理功能按钮为灰色,是无法正常启用的。

需要先点击软件右下角的“开始采集”,在启动设置界面的智能策略中进行代理商的API地址设置,如下图所示:

代理配置完成后,点击“启动”,运行一下任务。

【温馨提示】此处的运行仅为了对接配置的代理接口,不做采集的操作。当运行日志中出现“代理获取成功”,即可停止任务。

此时,重新进入任务编辑界面,即可看到手动切换代理功能已经能够正常操作了。

分享到:
python爬虫 python数据采集 批量生成网址 正则匹配邮箱 php爬虫 网页下载成word 批量下载视频 批量下载图片 网页内容关键字提取 数据自动整理成excel
关闭