Nothing2Hide

robots.txtファイルの最適化

私は、そのサイトのリソースにアクセスするための検索エンジンの種類に応じて異なるポリシーを指定して、 robots.txtファイルにさらに変更を加えてアクセスします。 特に、重複したコンテンツは、ランキングで、私は次のリソースを特定の検索エンジンのアクセスをブロックしている結果に負の影響を避けるために、インデックス：

• 月ごとのアーカイブ;
• タグ;
• テキストファイルのCSS 、郵便だけでなく、資源、 jsの等;
• RSSフィード;
• トラックバックURL ;

続きを読む...

2007年4月4日の13:57 Web内で書いた | コメント[ 0 ]
共有 |タグ： feeds_rss 、 Googleは 、 Googlebotが、 motore_di_ricerca 、 robots_txt 、 トラックバック、 ウェブその他

ワードプレスのrobots.txtファイル

として私がよくスパイダー（ Googleは、鉛）は、サイトのrobots.txtファイルを見つけていないし、彼のルートを模索するブログへのアクセスの統計でメモ、私は" "次のいずれかを満たす内容で作成することにした：

 ユーザーエージェント： * 
 のDisallow ： / wp - 
 のDisallow ： /フィード/ 
 のDisallow ： /トラックバック/ 

これは、すべてのクモが不必要にファイルをインデックスに直接Wordpressの試行されていないために奉仕する必要があります。 そして人々は、このファイルには、良いアイデアさえあればしている領域を作成して除外すると言う、その結果、このようなコンテンツがあります：

 ユーザーエージェント： * 
  禁止： 

2007年2月28日の20:01 Web内で書いた | コメント[ 0 ]
共有 |タグ： Googleは、 robots_txt 、 statistiche_di_accesso 、 user_agentの、 ウェブ