赵家富的个人博客

1、需求：爬虫时需要模块浏览器user-agent,这时如果可以随机得到一个user-agent,会非常方便。本来我是用fake_useragent，但是这个模块今天突然用不了了，https://fake-useragent.herokuapp.com/browsers/0.1.11给我报错fake_useragent.errors.FakeUserAgentError: Maximum a... 阅读全文…

之前能用的代码爬取YouTube视频，突然pytube模块不能用了，很惊奇，就用Google搜了一下：最终找到可解决方案： 参考搜索解决问题网址：https://github.com/nficano/pytube/issues/381 意思就是需要找到报错的extract.py文件，将下面几句注释就可以了。extract.py文件路径：Python36是我的安装python软件路径。 ... 阅读全文…

本次分析爬虫中的寻找响应乱码，找到正确编码格式的俩种方法： 方法1、浏览器查找charset编码加密，一般响应之后进行解码即可，但是除了单个字体js加密的除外，那种需要其他方法。一般编码格式有utf-8、gbk、gb2312，如果preview和response的内容一直，则编码就是utf-8. 如下加密情况，可以看出不是utf-8的编码格式，需要进行对应的解码： ... 阅读全文…

目前，国内网又很多提供短地址服务的平台，例如：第三个网址我没有找到api接口，有人找到了可以告诉我一下哈，第四个需要微信登陆，由于不是特别了解这个网站的安全性，故没有登陆测试。目前前俩个转换的短连接地址都是长期有效的，如果失效会网站通知的。 1、新浪：http://sina.lt/2、百度：http://dwz.cn/3、0x3：http://0x3.me/4、MRW：http://mrw... 阅读全文…

# 1、说明：当我使用selenium爬虫训练获得的列表时，中间报了这个错误，感觉很纳闷，没有问题怎么会出异常呐，所以就百度了一下，找到了一个对我这种情况的方法：最后找到原因就是如果循环使用自己之前定位的元素发生变化，至于为什么，我也不太懂。 ... 阅读全文…

# 若要对页面中的内嵌窗口中的多个滚动条进行操作，要先定位到该内嵌窗口，在进行滚动条操作使用这个方法：（其中，scall是这个div的class的名字，如过就一个这种div，直接中括号后面用0就可以，如果多个滑动div的class的name一样，需要先找找你需要下拉的div是第几个，如果是第三个，把下面[0],改为[2]） js='document.getElementsByCl... 阅读全文…

参考：https://blog.csdn.net/wdx1121/article/details/79523254https://blog.csdn.net/zhangjing1019/article/details/80362188 1、下载MySQL打开 https://www.mysql.com/ 官网点击downloads ... 阅读全文…

# 问题1、ModuleNotFoundError: No module named ‘sklearn.cross_validation’ 这个错是导入 from sklearn.cross_validation import train_test_split报的错。主要是因为这个模块有更改，将这一句改为下面即可： from sklearn.model_selection import t... 阅读全文…

# 1、流程1、流程如下：解压.7z压缩包，解压完之后图片都在dir(自己命名)文件夹下；2、然后执行 ls dir >file_list.txt(文件名自己命名)，将图片名称列表存放到txt文件中；3、然后执行sh form_filename.sh file_list.txt dir 2、sh文件form_filename.sh新建一个文本文档，将下面复制到里面，另存选择所以文... 阅读全文…

配置：window10系统python3.6.8版本 安装jupyter安装好pip之后，cmd中直接运行pip install jupyter notebook即可安装 1、进入C:\Users\自己的用户名.jupyter ... 阅读全文…