宝塔面板如何屏蔽垃圾搜索引擎蜘蛛和扫描工具的办法

0
回复
33
查看
[复制链接]

891

帖子

23

精华

2908

金币

本站管理员

XM币
7857

灌水之王本站元老大师哥一枚金牛座至尊勋章蘑菇头

发表于 2020-9-21 22:24:04 | 显示全部楼层 |阅读模式
目前除了我们常见的搜索引擎如百度、Google、Sogou、360等搜索引擎之外,还存在其他非常多的搜索引擎,通常这些搜索引擎不仅不会带来流量,因为大量的抓取请求,还会造成主机的CPU和带宽资源浪费,屏蔽方法也很简单,按照下面步骤操作即可,原理就是分析指定UA然后屏蔽。


首先进入宝塔面板,文件管理进入/www/server/nginx/conf目录,新建空白文件kill_bot.conf。然后将以下代码保存到当前文件中。



#禁止垃圾搜索引擎蜘蛛抓取

if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms") {
return 403;
break;
}

#禁止扫描工具客户端
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy" ) {
return 403;
break;
}


小孟资源分享是一个给网络新手提供各类源码以及技术经验分享学习的网站,免费分享各类网站模板,游戏源码,手游源码,H5手游,页游端游源码,游戏架设技术分享,网站架设技术分享,日常软件分享,游戏攻略,日常攻略分享都尽在(WWW.XMZYFX.COM)小孟资源分享学习网!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

专注源码模拟素材教程免费分享
www.xmzyfx.com

小孟资源分享网

每天不定时更新不同的资源和资讯

反馈建议

14508690@qq.com 在线QQ咨询

一个免费的资源分享网

© 2019-2020 XMZYFX.COM Inc.All Rights Reserved. 小孟资源分享网 ( 闽ICP备20012007号 )|网站地图|友链申请