@[toc]

Python爬虫之windows10安装scrapy

一、scrapy的配置

第一次写博客，既可以分享学习，也可以记录下自己学习时遇到的问题，如果日后再需要也方便自己使用，当做补充，上网搜了好多类似的分享，总算可以弄成功了。有点小紧张，嘻嘻，加油，希望对我们学习都用帮助！（我的是win10 64位，如果不是可以搜索相关的设置，我没有尝试，我在已经装好Python3.5版本下，如果没有安装Python，请先安装Python再进行下面
可以参考：https://www.cnblogs.com/Alier/p/6362652.html）

1、配置lxml模块

国内源参考：https://www.cnblogs.com/sunnydou/p/5801760.html

pip install lxml -i http://mirrors.aliyun.com/pypi/simple/

2、配置cryptography模块

pip install cryptography -i http://mirrors.aliyun.com/pypi/simple/

3、配置pywin32模块

pip install pywin32 -i http://mirrors.aliyun.com/pypi/simple/

4、 配置setuptools模块

pip install  setuptools -i http://mirrors.aliyun.com/pypi/simple/

5、 配置Twisted模块

这个我当时需要下载安装，出现报错缺VC++ 14.0解决措施，类似：https://blog.csdn.net/weixin_42117682/article/details/81412257

你可以先尝试安装试试：

pip install Twisted -i http://mirrors.aliyun.com/pypi/simple/

报错再去下载网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

6、配置pyOpenSSL模块

pip install pyOpenSSL -i http://mirrors.aliyun.com/pypi/simple/

7、配置scrapy模块

pip install scrapy -i http://mirrors.aliyun.com/pypi/simple/

剩下就可以去爬取网站测试了！！！

参考学习博客链接：

1、超简单Windows安装Scrapy (仅需一步)
https://www.cnblogs.com/lfoder/p/6565088.html
2、Twisted-18.7.0-cp37-cp37m-win_amd64.whl下载，以及安装Scrapy时，报错缺VC++ 14.0解决措施
https://blog.csdn.net/weixin_42117682/article/details/81412257
3、下载Twisted网址
https://www.lfd.uci.edu/~gohlke/pythonlibs/
4、安装下载的Twisted
https://www.cnblogs.com/zfquan/p/8093297.html