SEO经常遇到的一些垃圾蜘蛛

定义：对网站seo没什么用，并且大量爬取，会增加服务器负担

使用方法：robots.txt 禁止

更新时间：20200314

User-agent:Googlebot
Disallow:/
User-agent:SemrushBot
Disallow:/
User-agent:SemrushBot-SA
Disallow:/
User-agent:DotBot
Disallow:/