分享 最近做了一个推特监控的应用,想和各位讨论一下有没有有意思的方案

Miles · 2025年03月11日 · 7 次阅读

先讲讲我目前的方案吧,目前我做过两种,

第一种,自己写爬虫模拟人手动点击去获取页面 json 数据,但这种方案有很多弊端,延时高,占用内存大,需要自己反爬虫(包括使用多个 usertoken,防止 429 行为,自动解封等)

第二种,这种比较简单,只需要接第三方 API,定时获取。问题也有,如果每秒请求一次,一个月就需要调用整整 240 万次,请求量极大,如果想降低请求量就得低延迟或制定策略。

各位大佬有没有什么好的方案?

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请 注册新账号