南昌做网站开发的公司有哪些国际新闻最新消息今天233
上一节我们对爬虫程序的默认回调函数parse做了改写，提取的数据可以在Scrapy的日志中打印出来了，光打印肯定是不行的，还需要把数据存储，数据可以存到文件，也可以存到数据库，我们一一来看。
存储数据到文件
首先我们看看如何将数据存储到文件，在讲[[【Scrapy】Scrapy教程5——第一个Scrapy项目]]时，我们改写了prase函数，将首页存储到了一个shouye.html文件中，这便是我们的简单的数据存储，但这个存储方式是我们纯手写的代码，存的是整个页面，并非我们想要的数据。
这节主要讲存储数据，我们看下通过Scrapy命令直接存储数据，在这之前我们将parse函数修改下。
def parse(self, response):# 从获取的所有文章中提取链接和标题for article in response.css(".card")[1:]:yield {"title": article.xpath("./a").css("span::text").get(),"link": self.start_urls[0] + article.xpath("./a/@href").get(),}
然后，我们在到命令行中，运行以下命令。
scrapy crawl shouye -o titles.json
上面这条命令会将我们提取的数据存储到titles.json文件中，存储后的效果如下图所示。
我们会发现，存储的数据没有错，但是被整体存到了一个大的字典中，这不是我想要的结果，我只要数据一行一行的存储下来就好了，我们可以用以下命令。
scrapy crawl shouye -o titles.jsonl
没错，我们换个存储格式，就可以了。
存储数据到数据库
上面这种方法存储简单的数据可以，对于复杂结构的数据存储，就要引入Items和pipelines了。
Items
我们爬取页面的目标就是将非结构化数据提取为结构化数据，而Item就是Scrapy提供的一个类，用于定义通用输出数据格式的。Scrapy可以将提取的数据，作为Item返回，类似python的键值对。
Item Types
Scrapy通过itemadapter支持字典、Item对象、数据类对象、attrs对象几种Item类型。
- 字典：类似Python的键值对字典
- Item对象：Item提供的一个类似dict的API，可以支持更高级的特性
- dataclass对象：允许定义具有字段名称的项目类，可以指定字段的类型和元数据
- attrs对象：允许定义具有字段名称的项目类，可以指定字段的类型和元数据