记录一次对斗鱼爬虫的分析
起因
原神直播活动太卷了,手动点不动了,于是就想到写个小脚本自动化解决。
正文
2.3版本的时候代码还能跑通,但2.4的活动就跑不通了。具体报错如下:
在网上也查阅了相关文章,发现原因可能是header的问题,于是打个断点来测试(待写 摆烂)。
问题排除出来是在cookie中有中文的原因,把中文改成unicode就可以了。
- 这样就能跑通了,这个问题记得上次做虎牙的爬虫也遇到了,但是没做记录,这次做个记录,防止以后忘记了又要重新debug。
后文
后续也会将python requests库解析中文报错的原因找到了。