Google、Yahoo!、Microsoftなどの検索エンジンで共通で利用されているサイトマップ0.90を利用してクローラーに捕捉させるための方法です。
GoogleではgoogleWEBマスターツールなどを利用する方法もありますがrobot.txtを利用する方法が最も簡単です。 ①サイトマップを作成する
http://www.sitemaps.org/に仕様などが掲載されていますがFC2のサイトマップ作成ツールを利用するのが最も簡単です。
作成が完了したらサーバにアップロードします。
②robots.txtにアップロードしたサイトマップファイルに向けて以下の1行を記載します。(URLはサイトの環境に合わせてください)
URLはフルパスで記載してください。
Sitemap: http://hoge.jp/sitemap.xml
以上でクローラーがアクセスした際に自動的にサイトマップを補足してくれます。