SEO经常遇到的一些垃圾蜘蛛

定义:对网站seo没什么用,并且大量爬取,会增加服务器负担

使用方法:robots.txt 禁止

更新时间:20200314

User-agent:Googlebot
Disallow:/
User-agent:SemrushBot
Disallow:/
User-agent:SemrushBot-SA
Disallow:/
User-agent:DotBot
Disallow:/

标签

发表评论