进入放单区-淘宝,拼多多,抖音 >> 礼品包1.5元多仓四通 浏览2毛/收藏5毛/直播1毛/淘拼

koa2爬虫superagent不靠谱,异步坑

fenxw 8月前 472

网上看很多人用superagent,自己安装运行,

各种异步坑,用官方promise写法async/await,也是报错end()异步错误

因为我要多页采集,必须同步,还要gbk转码utf8

又找到一个then-request,也是异步,不想折腾

koa2-request,一个冷门框架,好用

加上iconv-lite转码,

cheerio就方便多了
let res = await koa2request('http://xxx',{encoding: null});//encoding:null取数据转为二进制流数据
 let Data=await iconv.decode(res.body, 'gbk');//处理二进制流数据,从gbk转通用的utf8
最新回复 (0)
返回