网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
成为超级会员,使用一键签到
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
05月16日
漏签
0
天
python吧
关注:
460,355
贴子:
1,922,019
看贴
图片
吧主推荐
视频
游戏
8
回复贴,共
1
页
<<返回python吧
>0< 加载中...
想问一下关于爬虫的问题
只看楼主
收藏
回复
商纣王帝辛本人
白丁
1
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
我的目的是爬取到b站动态22w个评论
因为各大开源网站只有爬视频的,我就自己半拼半凑写了一个,效果不好
用的是selenium库,通过模仿人类向下滑动到最低端来加载网页,得到XHR返回来的包含评论的文件,这样做弊端很明显,下来50次左右的时候网页就明显卡顿,偶尔会崩溃,请问大家有什么解决办法,或者是有类似的软件,目前我的想法是找到b站的评论页数编码,然后一次性发送所有的请求,得到返回
哈哈哈肥肥
进士
9
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
js逆向
商纣王帝辛本人
白丁
1
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
评论翻页貌似加密过,对着改了也不行
hitzsf
进士
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
没碰到过, 换 drission page 库试试呢
T喵喵OvO
童生
2
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
直接请求接口返回数据,这个我之前我看过几眼,没记错的话是要js逆向加密参数,这个参数加密很简单
贴吧用户_Q2CDNCe
进士
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
b站上面的js逆向教程大多数都不是很好,建议去淘宝上买
卷皮重云终见晴
进士
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
b站的要解密
sayo
白丁
1
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
b站反反爬很简单的,不需要用selenium
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示