通过web.config或.htaccess规则文件屏蔽User_Agent(UA)访问查找网站访问较多的 User_Agent可通过“访问统计”功能进行查看，登录进入到虚拟主机管理面板点击“访问统计”。 进入访问统计详细页面--找到“浏览器 (前 10) 点击：全部列出/版本 ”查看访问占比较大的客户端（User_Agent）浏览器版本。
如果某个特定的特征占的比例特别高，比如User_Agent为Amazonbot的占了90%，而Amazonbot对我们网站不是太重要的话，可按以下方式设置拦截。 屏蔽多个以"|"分隔，且同样适用屏蔽蜘蛛的访问爬行，规则如下： Linux主机下规则文件.htaccess(可手工创建.htaccess文件到站点根目录)添加以下规则： <IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "Bytespider|Amazonbot|YisouSpider|^$" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>Windows主机下规则文件web.config (可手工创建web.config文件到站点根目录)添加以下规则： <?xml version="1.0" encoding="UTF-8"?>
<configuration>
<system.webServer>
<rewrite>
<rules>
<rule name="Block spider">
<match url="(^robots.txt$)" ignoreCase="false" negate="true" />
<conditions>
<add input="{HTTP_USER_AGENT}" pattern="Bytespider|Amazonbot|YisouSpider|^$" ignoreCase="true" />
</conditions>
<action type="AbortRequest"/>
</rule>
</rules>
</rewrite>
</system.webServer>
</configuration>网站流量超标排查
|
||||
