如何应对反爬虫严重的网站？
ForeSpider数据采集系统采集范围全面、数据精度准确、抓取性能优异、可视化操作简单、智能自动采集，使企业能够以很少的人力成本快速获取互联网上的结构化或非结构化数据。
该软件可以收集互联网上几乎所有的公开数据，并通过可视化的操作流程，从建表、过滤、收集到存储一步到位。该软件开创了面向对象的爬虫脚本语言系统。如果有任何内容无法通过可视化收集，可以通过几行简单的代码收集强大的脚本。软件还支持正则表达式操作，可以通过可视化、正则化、脚本化的方式对数据进行清理和标准化。
桌面单次采集量可达4000-8000万，日采集量超过500万。服务器单集群环境采集能力可达8亿-16亿，日采集量超过4000万。并行，可以支持超过100亿条数据链接，堪比百度等搜索引擎系统。
A.软件可以收集的范围:
1.登录和cookie
支持自动登录，自动获取cookie信息。
2.验证码
接入第三方编码平台，最多3秒自动返回大代码结果。
3.在搜索栏中搜索
支持各种搜索字段检索关键词，可以批量导入几十万个关键词。
4.各种协议
支持http，https，各种app的协议等。
5.JavaScript和Ajax动态生成内容
支持JavaScript生成的所有动态内容。
6.IP代理
支持IP代理，不用担心阻塞IP。
7.post请求和OAuth认证
支持post请求和OAuth验证的网页。
8.搜索引擎网络数据挖掘
可以收集搜索引擎，通过一个模板挖掘出需要的数据。
2.软件不能收集的范围:
1.私人数据
网络爬虫技术是批量数据下载技术，不是黑客技术。它只能收集前端浏览器能显示的数据内容，而不能收集网站的服务器后端数据，比如用户数据。
对于需要账号登录才能查看的内容，如果你有账号登录，可以采集该账号下的可见数据；对于其他账号下的内容，也是无法收藏的。
2.需要手机扫码的数据。
对于扫码后才能显示的数据，无法实现批量采集。
3.对帐户有权限限制的数据
一些网站限制一个登录帐户每天只能查看X条数据。如果用户没有额外的账号，就无法突破这个限制。