赵家富的个人博客

@[toc] 一、说明:这个是我发现一个python好用的一个模块，名字就是pinyin：主要功能就是基于普通话将汉字翻译成拼音。 模块地址： 安装命令： 1pip install pinyin 二、简单使用：解释我放在代码里面了，看看就懂了，不过多解释了。 1、汉字转拼音：1import pinyin23# 1、可以获取拼音和音调4# print(pinyin.get('你 好'))... 阅读全文…

# 说明：最近小区开始实行杭州垃圾分类了，说实话刚开始有点小抵触，还要多买几个垃圾桶，每次丢垃圾还得用小程序搜索，别丢错了，但是我看到一个新闻说，国家之前的垃圾都是填埋，没有分类，导致现在垃圾每个城市都是堆积如山，而且对环境污染严重，而且我感触最深的是我的老家，我老家那边，小时候我记得我家的水井，我爸爸告诉我只有十来米深，那个时候还是压水井，不是现在的水泵，那个时候十米的水井就很甜，水也很... 阅读全文…

一、zip的简单介绍：zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的对象，这样做的好处是节约了不少的内存。 我们可以使用 list() 转换来输出列表。 如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。 二、简单使用场景介绍：这个内置模块我还是看到一个别人写的博客中用到这个模块... 阅读全文…

说明：python 将html保存为PDF之一个学习笔记 今天转存HTML为pdf的时候，然后我使用os.system时候出现问题，后来网上搜索python有三种执行命令，结果我使用os.popen()可以了，后来再使用os.system()，又可以了。后来我参考的哪个博主写的将廖雪峰大牛的博客转存成pdf的代码整合，基本上不能用了，不过也感谢博主，让我知道了大概使用，又多搜索了几篇，有的模... 阅读全文…

说明：今天突然想把爬取的HTML页面转存成PDF格式，进行一个学习，起源于这个还是很久之前看到一个爬取公众号的文章保留为PDF，但是想着学习自己实现一下哈，结果（懒呀，懒人总是能找到各种借口的，一推就一俩个月过去了，今天突然就想起来了，就来实现一波，结果还真有点麻烦，代码这个还是要自己动手写写，弄好之后做个自己看懂的总结就行（因为这是你以新手的学习出发点学习的，也能帮助别人下你踩得坑），把人... 阅读全文…

说明：这个问题，是我今天测试一个网站（具体网站我就不写出来了，如果遇到类似的Request Payload请求参考即可。）然后各种尝试，就很纳闷了，这样的post真的第一次见呀，然后安装之前的怎么发送就失败。最后使用json序列化，作为请求体，发送post，就成功了。 1、截图看看具体大概结构：具体就是这种，之前的post，我们直接把query string弄成json格式，然后传reque... 阅读全文…

@[toc] 说明（我不是做代理推荐）：我不是做代理推荐，我只是看到一个文章，觉得人家测试的非常好，我只不过根据他的结果，结合现在的各个代理商的价格，整理成方便筛选自己需要的一个代理随笔（也是为我自己后续需要使用，记录下来，省的以后需要购买代理还得去搜那个代理商的划算）。 这个如果是大牛2018.2测试的，我今天看到已经快俩年了，不保证还是这样价格和质量，如果好的网站估计代理ip质量更好了... 阅读全文…

说明：今天就是想做一个使用scrapy爬取网页时携带cookie或者其他请求头时，携带的有效性方法，进行验证： 我的验证思路： 测试网站是CSDN的写作榜单，使用登录和未登录的cookies对比，对返回的响应是否含有自己的用户名，来进行验证是否携带成功。 一、使用requests模块初步验证cookies的有效性：1、先分析页面结构：做爬虫一定要先分析，学会分析才能接着往下做的更快，分析的时... 阅读全文…

@[toc] 说明：这次是接着上一次的爬虫：python爬虫之scrapy 框架学习复习整理二进行补充，上一次是自己对响应的页面，进行分析，查找出下一页的地址，使用requests发送请求，解析方法还是parse函数。 这次使用自动从响应页面提取出需要爬取的地址，然后接着再次爬取，直至，提取的地址都爬取完毕。 自动提取下一页：Scrapy中CrawlSpider1、再建立一个爬虫程序：1s... 阅读全文…

说明：由于好久（半年以上了）没有用到scrapy框架做爬虫了，日常的使用request+多线程和协程就能高速爬取了，时间久了发现不怎么熟练了，抽空闲时间再复习一下，巩固。 我的工作环境：1windows10系统2python3.6 学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelin... 阅读全文…