记录一下我爬虫遇到的一个简单问题,为了不试爬虫过多的出现转向问题,我加了一个allow_redirects=False,默认它是为True的,后来跑着跑着就出现301的问,偶然测试我把allow_redirects=False去掉,就出现响应码正常了。为了防止跳转问题,每次运行完,我把resp.close(),手动关闭连接。

resp = requests.get(url=url, headers=headers,allow_redirects=False)