scrapy框架安装教程,Python安装scrapy

　　一、Scrapy安装

　　如果顺利的话，可以使用下面的命令直接安装。

　　1:使用pip安装：pip安装脚本。

　　2(推荐)使用国产豆瓣源进行安装，速度很快。pip安装-I https://pypi.douban.com/simple/scrapy

　　二、Scrapy目录结构介绍

　　接下来以攀登有人知道的答案为例，说明Scrapy中各个目录的作用。

　　2.1、创建项目

　　在开始抓取之前，您必须创建一个新的Scrapy项目。转到要保存代码的目录，然后运行以下命令：

　　通过脚本开始项目演示。

　　该命令将创建一个包含以下内容的演示目录：

　　这些文件是：

　　1) scrapy.cfg:项目的性能分析可以马上忽略。

　　2) Demo/:项目的python模块。

　　3) Demo/items.py:项目的项文件。

　　Item是保存攀登数据的容器；它的用法类似于python字典，并且它提供了其他机制来保护您免受未定义字段错误的拼写错误。

　　你可以通过创建一个剪贴簿来定义一个项目。项目类并定义scrapy类型的类属性。字段，正如您在ORM中所做的那样。

　　4) Demo/pipelines.py:项目的管道文件。

　　Scrapy提供了管道模块，用来保存数据。Pipeline.py文件将在创建的Scrapy项目中自动创建，并将创建默认的Pipeline类。比如按项目提取的数据，可以保存在mysql数据库中。

　　5) Demo/settings.py:项目的配置文件。

　　Settings.py是Scrapy中一个重要的配置文件，设置非常多。

　　6) demo/spiders/:蜘蛛代码所在的目录。

　　这个很好理解。如下图所示，在我们后面的例子中，我们爬豆瓣和微博，你知道的爬虫代码文件就存放在这个文件夹下。

　　7)Demo/middleware . py:中间件。

　　参考资料：3359 www . Jian 878054091

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。