记录一下我爬虫遇到的一个简单问题,为了不试爬虫过多的出现转向问题,我加了一个allow_redirects=False,默认它是为True的,后来跑着跑着就出现301的问,偶然测试我把allow_redirects=False去掉,就出现响应码正常了。为了防止跳转问题,每次运行完,我把resp.close(),手动关闭连接。
resp = requests.get(url=url, headers=headers,allow_redirects=False)
记录一下我爬虫遇到的一个简单问题,为了不试爬虫过多的出现转向问题,我加了一个allow_redirects=False,默认它是为True的,后来跑着跑着就出现301的问,偶然测试我把allow_redirects=False去掉,就出现响应码正常了。为了防止跳转问题,每次运行完,我把resp.close(),手动关闭连接。
resp = requests.get(url=url, headers=headers,allow_redirects=False)
最后更新时间:
这里可以写作者留言,标签和 hexo 中所有变量及辅助函数等均可调用,示例:https://zhaojiafu.github.io/2019/12/02/ccb52c00ee7d5e1f192cbf9d134a00e9/