Python爬虫怎么写？

Python爬虫库其实有很多，比如常见的URL、requests、bs4、lxml等。如果是初学者，可以学习两个库，分别是requests和bs4(BeautifulSoup)，相对简单易学。requests用于请求页面，BeautifulSoup用于解析页面。这里我就以这两个库为基础。简单介绍一下Python是如何抓取网页静态数据和动态数据的。实验环境是Win 10+Python 3.6+py charm 5.0。主要内容如下:

Python抓取网页的静态数据。

这个很简单，直接根据网址请求页面即可。这里以抓取糗事百科上的内容为例:

1.假设我们要抓取的文本如下，主要包括昵称、内容、段子数、评论数四个字段:

打开网页源代码，对应的网页结构如下。非常简单，所有字段的内容都可以直接找到:

2.针对以上网页结构，我们可以编写相关代码来抓取网页数据。这很简单。首先，根据url地址请求页面，然后使用BeautifulSoup解析数据(根据标签和属性)，如下所示:

程序运行截图如下，数据已经爬取成功:

Python抓取网页的动态数据。

很多情况下，网页的数据是动态加载的，我们无法通过直接抓取网页来提取任何数据。这时候我们就需要抓取包分析找到动态加载的数据，通常是json文件(当然也可能是其他类型的文件，比如xml等。)，然后请求解析这个json文件，这样我们就可以得到我们需要的数据。这里以抓取人人贷上的零散数据为例:

1.假设我们在这里爬取的数据如下，主要包括年利率、贷款标题、期限、金额、进度五个字段:

2.按F12调出开发者工具，依次点击“网络”->“XHR”，F5刷新页面，可以找到动态加载的json文件。详情如下:

3.然后根据上面的分析，我们可以编写相关的代码来抓取数据。基本思路和上面的静态网页差不多。首先，使用请求请求json，然后使用python附带的json包解析数据，如下所示:

程序运行截图如下，数据已成功获取:

至此，我们已经完成了使用python抓取web数据。总的来说，整个过程很简单。对于初学者来说，requests和BeautifulSoup非常容易学习和掌握。你可以学习使用它们。等你以后熟悉了之后，就可以学习scrapy爬虫框架了，可以明显提高开发效率。这很好。当然，如果网页中有加密和验证码，就需要自己琢磨和研究对策了。网上也有相关教程和资料。如果你感兴趣，