关于 A11ywatchbot

A11ywatchbot 是 A11yWatch 网页可访问性引擎的网络爬虫。

该爬虫收集 HTML 代码以验证通过 A11yWatch.com 扫描的网站。只有付费账户可以扫描整个网站。

A11ywatchbot 发送的请求会将 User-Agent 设置为:
Mozilla/5.0 (兼容; A11ywatchbot/1.0; +https://a11ywatch.com/a11ywatchbot)
,并且来源于反向 DNS 中显示为 *.a11ywatch.com 域名下。例如:

$ host 3.142.27.87 87.27.142.3.in-addr.arpa

domain name pointerec2-3-142-27-87.us-east-2.compute.amazonaws.com

A11yWatchbot 还遵守 robots.txt 文件中针对 A11ywatchbot 的标准指令。例如,以下内容将允许 A11ywatchbot 爬行所有页面,但排除 /app/ 目录下的页面:

User-Agent: A11ywatchbot

Allow: /Disallow: /app/

A11yWatchbot 还支持 robots.txt 文件中的 crawl-delay 指令。它将该值解释为连续请求开始之间的最小时间间隔(以秒为单位)。例如,如果您在 robots.txt 文件中指定了如下内容:

User-Agent: A11ywatchbot

Crawl-delay: 5

我们有一个开源版本的爬虫,它扩展了蜘蛛,是GitHub上最快的网络爬虫OSS。我们在GitHub上积极维护这两个项目。

如果您有任何问题,或者认为 A11ywatchbot 影响了您的网站,请不要犹豫,通过 support@a11ywatch.com 联系我们。

以自信保持包容

现在开始使用A11yWatch,了解自动化、高效和可访问的Web可访问性工具。