先讲讲我目前的方案吧,目前我做过两种,
第一种,自己写爬虫模拟人手动点击去获取页面 json 数据,但这种方案有很多弊端,延时高,占用内存大,需要自己反爬虫(包括使用多个 usertoken,防止 429 行为,自动解封等)
第二种,这种比较简单,只需要接第三方 API,定时获取。问题也有,如果每秒请求一次,一个月就需要调用整整 240 万次,请求量极大,如果想降低请求量就得低延迟或制定策略。
各位大佬有没有什么好的方案?