留言本-CmdEye技术交流博客
留言本-CmdEye技术交流博客
留言本-CmdEye技术交流博客

禁止直接访问robots.txt文件

很多时候robots.txt 包含了很多信息,有些安全软件把robots当漏洞来处理,实际上这个算不上漏洞,充其量是因此泄露而已!
以下代码是禁止直接访问,但匹配并排除搜索引擎蜘蛛

nginx站点配置文件中加入以下节点:

location = /robots.txt {
    if ($http_user_agent !~* "spider|bot|yahoo|sogou") {
        return 404;
    }
}

然后重载nginx配置

温馨提示:本文最后更新于2021-10-10 18:15:33,某些文章具有时效性,若有错误或已失效,请在下方留言或联系CmdEye
© 版权声明
THE END
喜欢就支持一下吧
点赞15赞赏 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片