每天 700 百万请求，Facebook 的爬虫把我的小破站拖垮了
今天 HackerNews 首页二条热帖有意思。Francesco 是个程序员，为了做些 SEO 试验，他搞了一个小网站（PHP + 400kb 的 SQLite db），能生成千上万的不同文章，每篇文章上都有 Facebook 的分享按钮。
小破站托管在一个便宜的 VPS 上，但每天都要遭受 FB 爬虫超过 700 百万次的请求，所以经常宕掉。
而 FB 的文档对禁止其爬虫木有帮助，所以作者在文中呼吁：如果 FB 爬虫工程师能看到，请不要忽略爬虫的基本礼节。
要是下次你们的爬虫在托管在 AWS 上的网站瞎搞，说不定站长会要求赔偿损失。
https://news.ycombinator.com/item?id=23490367
这个有点恐怖了吧，很少有网站能够抗住这个量级的抓取。。。
页:
[1]
