8350x.net

主に備忘録

Apacheのアクセスログにいたbotへのクロール拒否

time 2016/09/17

Apache2のアクセスログを眺めていたところ

というものを見つけ、色々調べたところ、イギリスのmajestic12プロジェクトというもののクローラらしい。遠いイギリスの組織に調査されるのも精神衛生上嫌ですしトラフィックが無駄なのでブロックします。

Webサーバーのドキュメントルートに移動して、robots.txtというファイルを編集します。(なければ作成)

以下のように編集

パーミッションの設定(root所有apache実行ユーザーグループの時)

自分のrobots.txtにアクセスできるか調べる。(http://example.com/robots.txt)

表示されたら成功。

参考にさせていただいたページ

oxynotes.com-迷惑ボットMJ12bot/v1.4.5によるクロールをrobot.txtで停止する方法

 

down

コメントする




CAPTCHA


*

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください