アクセスカウンタ - robots.txtのヒント

robots.txtファイルの機能は、それはより多くの時間を過ごすしたり、複数のページを参照してくださいあなたのサイトをスパイダリング誘発しない非常に限られている。しかし、あなたはいくつかのヒントのrobots.txtを知っている場合は、robots.txtファイルで大きな役割を果たすことができる。
shinobi.jp - アクセス解析, ブログ, カウンター とかを提供しているNINJA TOOLSの別館的サイト
。検索スパイダーがrobots.txtファイルが存在しない検索する場合、サーバーは404エラーをログに記録されますので、サイトのrobots.txtを追加する必要があります。。
2。 Webサイトの管理者は、いくつかのサーバ上のディレクトリからクモを行う必要があります - そのサーバーのパフォーマンスを確保するために。例：ほとんどのWebサーバーを追加することでrobots.txtファイルほどで、"cgi - bin"ディレクトリに格納されているプログラムを使用している"禁止を：/ cgiが- binは"良い考えですので、ファイルはクモされているすべてのプログラムを避けるために、インデックスは、サーバーのリソースを節約することができます。。
ここではされているrobots.txtファイルVeryCMS：
User-agent: *
禁止：/管理/ adminファイル

禁止：/添付ファイル/アクセサリー
禁止：/画像/画像

禁止：/テンプレート/テンプレートファイル

禁止：/ラング/エンコードされたファイル

3。あなたのサイトには、動的なWebページである場合、あなたはより簡単にクロールして検索スパイダーの動的ページのこれらの静的なコピーを作成する。。
。
Googleは、Yahooは、質問現在の検索エンジン会社とMSNの支持を表明。。利点は、所有者は、検索エンジンのスパイダーは、robots.txtファイルをクロールする各検索エンジンやサイトマップのファイルを送信するようなウェブマスターウェブマスターツールのセクションを参照して必要がないことですし、リンクされているページの1つをつかんで、そのパスをサイトマップ読む。
5。 robots.txtファイルの使用の合理化は、アクセスエラーを防止することができます。たとえば、ショッピングカートのページに直接サーチャーを任せることはできない。ショッピングするので、ショッピングカートのページに直接サーチャーを防ぐために、robots.txtファイルを設定することができます含まれる理由はありませんので、無料サービス。
豊富な状況技術有限公司