robots.txtの作成はお済みですか？
「なんとなく聞いたこと有るけど、詳しく知らない」
という方がほとんどではないでしょうか。
検索エンジンのクローラーを思い通りに制御することができるrobots.txt。
サイト内部の最適化の一つとして、適切に設定すると、SEO効果を大きく得ることができます。
検索エンジンに反映させたくないコンテンツやディレクトリをrobots.txtを設定することクロール禁止にすることもできます。
今回はSEO内部施策として、必ず一度は見直して置きたいrobots.txtの作り方を解説します。
目次
SEO対策に最適化したrobots.txtの作成法
robots.txt設定する目的として以下の理由が挙げられます
- 特定ディレクトリがインデックスされるのを防ぐ
- 特定ファイルがインデックスされるのを防ぐ
特定のディレクトリというと、テストページ・会員専用ページなどが挙げられます。
特定ファイルも同じく社内向けファイル・特典ファイルといったファイルです。
Googleで【site:example.com】と検索することで、インデックス情報を確認することができます。
意外と多くのサイトで、外部向けではないページや、テストページ、自動生成されたページが表示されてしまっているのを見かけます。
特に必要のない自動生成されたページやエラーページは、Googleからの評価を下げる原因にもなるため対策が必要です。
万が一、予期せぬユーザーがそのようなページにたどり着いた場合、顧客獲得の機会損失にも繋がってしまいます。
また、社内マニュアルといった外部向けではないページがインデックスされてしまっている場合も稀にあります。
社内のセキュリティ管理の甘さも露呈する形となってしまうため、インデックス状況を定期的に確認し、しっかりと対処しておきましょう。
robots.txtってみんな作ったほうがいいの？
robots.txtの重要性は分かって頂けたかと思います。
では、ホームページ全てがrobots.txtが必要なのか？というと実はそうではなりません。
Google クローラのrobots.txtの項目で
サイトのページをすべてクロールさせたい場合は、robots.txt ファイルを作成する必要はありません。
と述べている通り、特別な理由などがなければ設定の必要はありません。
あえて設定するとすればsitemapの位置情報を伝えてあげるだけでいいでしょう。
※設定方法は次項で。
またWordpressではrobots.txtにアクセスが有った際、自動生成されるようになっており、wp-admin以下のディレクトリはインデックスされないよう設定されています。
wordpressでサイト構築している方はその他にも、All in One SEOやYoast SEOといったSEO対策プラグインでnoindexが設定可能ですので、特別robots.txtを書く必要がない方も多いかと思います。
robots.txtの作り方と設置場所
設置場所
ディレクトリの一番上に、robots.txtというファイルを設置するだけでOKです。
Googleのクローラーが回ってきた際、自動的に参照してくれます。
URLでいうと、http://example.com/robots.txtとなります。
robots.txt作成方法
robots.txtは普通のテキストファイルです。
メモ帳でも作成可能です。
robots.txtの書き方
robots.txtの大前提として、ドメインを指定する必要はありません。
https://awe-some.net/blog/の/blog/を指定したい場合。
/blog/と指定するだけでOKです。
クローラーの指定方法
まず初めにクローラーの指定を行ないます。
「サイト内の画像を不正利用されないように」
「Google以外のクローラーは全部拒否したい」
といった目的がある場合robots.txtから設定することが可能です。
特別理由がなければ一番上の全てのクローラーを対象とした設定で問題ありません。
全クローラー対象
# 全てのクローラーを対象 User-agent: *
Googleクローラー対象
# Googleクローラーのみ User-agent: Googlebot
Google画像検索クローラー対象
# Google画像検索クローラーのみ User-agent: Googlebot-Image
クロールの許可・禁止
クロールを禁止するファイルやディレクトリの指定方法です。
クロール許可
クロールを許可したい場合はAllow:の後にパスを指定します。
# 全てのクローラーを対象 User-agent: * Allow: /example/
クロール禁止
クロールを禁止したい場合はDisallow:の後にパスを指定します。
# 全てのクローラーを対象 User-agent: * Disallow: /example/
パスの指定方法
一番使用頻度が高いであろうクロール禁止のDisallow:で指定方法を説明していきます。
必要に合わせて、Allow:に書き換えてくださいね。
# サイト全体をクロール禁止 Disallow: / # exampleページのみ禁止 Disallow: /example # exampleディレクトリ全て禁止 Disallow: /example/ # example-*で名前がマッチしたディレクトリ全て禁止 # 例:[example-1][example-2] Disallow: /example-*/ # exampleディレクトリのtest.htmlを禁止 Disallow: /example/test.html # exampleディレクトリの.htmlファイルを禁止 Disallow: /example/*.html # 上記では.html.erbといったファイルも含まれてしまうため # 末尾に＄をつける事で回避することが可能。 Disallow: /example/*.html$
サイトマップの指定
robots.txtにサイトマップの場所を書いてあげることで、クローラーが回ってきた際の道標の役割になります。
GoogleはGoogle consoleからサイトマップを送信するため必要ありませんが、その他の検索エンジンのクローラーが回ってきた時のことを考えて設定しておくと良いでしょう。
あなたの知らない検索エンジンでのSEO効果が期待できるかもしれません。
# サイトマップの場所 Sitemap: https://syncer.jp/sitemap.xml
robots.txtにしていてもインデックスされちゃう原因
実はrobots.txtを適切に作成しても検索エンジンにインデックスされてしまう事もあります。
理由として考えられるのが、外部リンクからクローラーが回ってきてしまう。という要因。
どうしてもクローラーにインデックスさせたくないページに関しては、
<meta name=”robots” content=”noindex”>
をheadセクションに挿入するだけでインデックス禁止にすることができます。
wordpressでサイトを構築している場合は、SEO対策用のプラグインで設定できる為、直接書かなくてもいい場合が殆どです。
クローラーにとってあなたのサイトが「高品質で分かりやすいサイト」と認識してい貰える設定を心がけましょう。
robots.txtテスターを使ってみよう
robots.txtの作成が終わったら、実際に上手く機能するかをGoogleウェブマスターツールのrobots.txtテスターを使って確認してみましょう。
ウェブマスターツールのメニューからrobots.txtを開きます。
上記のページが表示されますので、robots.txt記入欄に書いてテストを行ないます。
しっかりとクローラーがブロックされている場合は、上記のように表示してくれます。
robots.txtが正しく動作するか心配！という方は是非活用してみてください。
robots.txtを正しく設定してSEO対策につなげよう。
サイト全体が大きく拡大していくと、サイト全体の構造化や不要なインデックスの整理など大変になってきます。
「サイトコンテンツの質は低くない！」
「思ったようにSEOランクが上がらない！」
そんな悩みを抱えている方は是非robots.txtでサイトをスックリとスリムアップさせてみてはいかがでしょうか。
スケールアップしていくことが予想されるサイトに関しては、サイト構築前にディレクトリマップの作成やSEO設計をきちんと行うことで対処可能です。
サイト構築前にnoindexやrobots.txtの設定も含めて考えていきたいですね。
またWordpressでサイト構築されている方は、プラグインなどの設定を正しく行うことでSEO効果を高めることも可能です。
