犇站爬虫概述

当我们的爬虫访问您的网站时，它会使用以下 User-Agent 字符串进行标识：

Mozilla/5.0 (compatible; benbensbs-spider/0.1.0; +https://benben.sbs/bot)

验证真实性

当您在网站日志中发现此 User-Agent 时，即表示我们的爬虫正在访问您的内容。我们目前的爬网服务器位于 64.90.0.0/20 (AS979) 网段，可能会使用成都电信的 IP 用于爬虫调试，但是调试用 IP 不会持续性抓取。您可以通过联系我们发送 IP 来检查我们爬虫的真实性。

控制抓取和抓取率

为了避免给您的服务器带来过大压力，我们对爬虫的速率进行了严格控制。我们采用了 Leaky Bucket 算法进行速率限制，具体参数如下：

  • 最大请求额度数 (max): 10
  • 初始请求额度数 (initial): 0
  • 补充速率 (refill): 每 500 毫秒补充 1 个请求额度
  • 补充间隔 (interval): 500 毫秒

这意味着我们的爬虫在任何 500 毫秒的窗口期内，最多会发出 10 个请求。此后，它会以每 500 毫秒一个请求的速度补充其请求额度。考虑到网络延迟和单线程模式，实际发出的请求通常不会达到这个理论峰值。

如果爬虫对您的服务器造成了太大的压力，服务端可以返回任意非 200 响应并将 HTTP 响应头部 server 设置为任意非空值。

报告问题

如果您对我们的爬虫有任何疑问、建议，或者发现我们的爬虫对您的网站造成了任何意想不到的影响（例如，负载过高），请随时通过以下方式与我们联系：

  • QQ 群聊 313404608
  • 电子邮件 me/imken.moe（/ 换成 @）

我们会在 7 个工作日内进行回复。