站长工具seo学生个人网站模板

视频版教程：一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium

有些网站的数据是js动态渲染的，我们无法通过网页源码直接找到数据，只能通过找接口方式来获取数据，但是很多时候，数据又是json格式的，给我们爬数据增加成本。

比如 CSDN - 专业开发者社区 这个网站 就是js动态渲染的首页数据。

这时候，使用selenium，我们可以通过模拟真实浏览器的用户操作行为，来获取js动态渲染后的网页数据，在进行解析网页，获取我们需要的数据。能大大提高我们的抓取效率。

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。

我们使用Selenium，模拟浏览器功能，自动执行网页中的js代码，实现动态加载，然后再进行数据抓取。

测试代码：

import requestsurl = "https://www.csdn.net/"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}r = requests.get(url=url, headers=headers)# 设置返回对象的编码
r.encoding = "utf-8"print(r.text)

运行发现，返回结果里面找不到我们需要的资讯数据。