AhrefsBot是ahrefs.com的一条网络爬虫,通过抓取网页建立索引库,并提供反向链接分析和服务。AhrefsBot FAQS1、如何禁止AhrefsBot?
AhrefsBot遵守网络规范,如要禁止AhrefsBot,最快捷的方法是打开您的robots.txt,添加如下两行:
user-agent: AhrefsBot
disallow: /
这样,AhrefsBot就不会再抓取您网站的任何内容了。
2、什么是反向链接?
反向链接是和常规链接相比较而言的。常规链接在源文档内部进行声明和显示,而反向链接则在目标文档内部进行声明。换言之,常规链接在文档 A 中标明“指向文档 B”,而反向链接则在文档 B 中要求“使文档 A 指向我”,那么对于文档B来说,在文档A中的链接就是文档B的反向链接。