衡阳建设学校网站雅安城市建设网站
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。
安装scrapy
pip install scrapy==2.5.0
1.新建 Scrapy项目
scrapy startproject mySpider # 项目名为mySpider
2.进入到spiders目录
cd mySpider/mySpider/spiders
3.创建爬虫
scrapy genspider dgcuAI ai.dgcu.edu.cn # 爬虫名为dgcuAI，爬取域为ai.dgcu.edu.cn
4.制作爬虫
创建爬虫之后，打开dgcuAI.py文件。
引入Selector
from scrapy.selector import Selector
修改start_urls：
start_urls = ['http://ai.dgcu.edu.cn/front/category/2.html']
修改parse函数：
def parse(self, response):
print(response.url)
selector = Selector(response)
# # 使用XPath表达式提取信息：
# 标题： //div[@class="pageList"]/ul/li/a/div[@class="major-content1"]/text()
# 链接： //div[@class="pageList"]/ul/li/a/@href
# 日期： //div[@class="pageList"]/ul/li/a/div[@class="major-content2"]/text()
node_list = selector.xpath("//div[@class='pageList']/ul/li")
for node in node_list:
# 文章标题
title = node.xpath('./a[1]/div[@class="major-content1"]/text()').extract_first()
# 文章链接
url = node.xpath('./a[1]/@href').extract_first()
# 日期
date = node.xpath('./a[1]/div[@class="major-content2"]/text()').extract_first()
print("文章标题:", title)
print("文章链接:",url)
print("日期:",date)
5.运行爬虫
在mySpider/mySpider/文件夹下创建run.py文件，并运行：
from scrapy import cmdline
cmdline.execute("scrapy crawl dgcuAI -s LOG_ENABLED=False".split())
其中“-s LOG_ENABLED=False ”表示不打印日志信息，若代码运行有错误则需要“-s LOG_ENABLED=True ”，这样就能在控制台看到错误信息。
运行结果：
