SEO対策で活用したいrobots.txtの作り方

robots.txtの作成はお済みですか?

「なんとなく聞いたこと有るけど、詳しく知らない」

という方がほとんどではないでしょうか。
検索エンジンのクローラーを思い通りに制御することができるrobots.txt。
サイト内部の最適化の一つとして、適切に設定すると、SEO効果を大きく得ることができます。
検索エンジンに反映させたくないコンテンツやディレクトリをrobots.txtを設定することクロール禁止にすることもできます。
今回はSEO内部施策として、必ず一度は見直して置きたいrobots.txtの作り方を解説します。

SEO対策に最適化したrobots.txtの作成法

SEO対策で活用したいrobots.txtの作り方

robots.txt設定する目的として以下の理由が挙げられます

  • 特定ディレクトリがインデックスされるのを防ぐ
  • 特定ファイルがインデックスされるのを防ぐ

特定のディレクトリというと、テストページ・会員専用ページなどが挙げられます。
特定ファイルも同じく社内向けファイル・特典ファイルといったファイルです。

Googleで【site:example.com】と検索することで、インデックス情報を確認することができます。
意外と多くのサイトで、外部向けではないページや、テストページ、自動生成されたページが表示されてしまっているのを見かけます。
特に必要のない自動生成されたページやエラーページは、Googleからの評価を下げる原因にもなるため対策が必要です。
万が一、予期せぬユーザーがそのようなページにたどり着いた場合、顧客獲得の機会損失にも繋がってしまいます。

また、社内マニュアルといった外部向けではないページがインデックスされてしまっている場合も稀にあります。
社内のセキュリティ管理の甘さも露呈する形となってしまうため、インデックス状況を定期的に確認し、しっかりと対処しておきましょう。

robots.txtってみんな作ったほうがいいの?

SEO対策で活用したいrobots.txtの作り方

robots.txtの重要性は分かって頂けたかと思います。
では、ホームページ全てがrobots.txtが必要なのか?というと実はそうではなりません。
Google クローラのrobots.txtの項目

サイトのページをすべてクロールさせたい場合は、robots.txt ファイルを作成する必要はありません。

と述べている通り、特別な理由などがなければ設定の必要はありません。
あえて設定するとすればsitemapの位置情報を伝えてあげるだけでいいでしょう。
※設定方法は次項で。

またWordpressではrobots.txtにアクセスが有った際、自動生成されるようになっており、wp-admin以下のディレクトリはインデックスされないよう設定されています。
wordpressでサイト構築している方はその他にも、All in One SEOやYoast SEOといったSEO対策プラグインでnoindexが設定可能ですので、特別robots.txtを書く必要がない方も多いかと思います。

robots.txtの作り方と設置場所

SEO対策で活用したいrobots.txtの作り方

設置場所

ディレクトリの一番上に、robots.txtというファイルを設置するだけでOKです。
Googleのクローラーが回ってきた際、自動的に参照してくれます。
URLでいうと、http://example.com/robots.txtとなります。

robots.txt作成方法

robots.txtは普通のテキストファイルです。
メモ帳でも作成可能です。

robots.txtの書き方

robots.txtの大前提として、ドメインを指定する必要はありません。
https://awe-some.net/blog//blog/を指定したい場合。
/blog/と指定するだけでOKです。

クローラーの指定方法

まず初めにクローラーの指定を行ないます。

「サイト内の画像を不正利用されないように」

「Google以外のクローラーは全部拒否したい」

といった目的がある場合robots.txtから設定することが可能です。
特別理由がなければ一番上の全てのクローラーを対象とした設定で問題ありません。

全クローラー対象
# 全てのクローラーを対象
User-agent: *
Googleクローラー対象
# Googleクローラーのみ
User-agent: Googlebot
Google画像検索クローラー対象
# Google画像検索クローラーのみ
User-agent: Googlebot-Image

クロールの許可・禁止

クロールを禁止するファイルやディレクトリの指定方法です。

クロール許可

クロールを許可したい場合はAllow:の後にパスを指定します。

# 全てのクローラーを対象
User-agent: *
Allow: /example/
クロール禁止

クロールを禁止したい場合はDisallow:の後にパスを指定します。

# 全てのクローラーを対象
User-agent: *
Disallow: /example/

パスの指定方法

一番使用頻度が高いであろうクロール禁止のDisallow:で指定方法を説明していきます。
必要に合わせて、Allow:に書き換えてくださいね。

# サイト全体をクロール禁止
Disallow: /

# exampleページのみ禁止
Disallow: /example

# exampleディレクトリ全て禁止
Disallow: /example/

# example-*で名前がマッチしたディレクトリ全て禁止
# 例:[example-1][example-2]
Disallow: /example-*/

# exampleディレクトリのtest.htmlを禁止
Disallow: /example/test.html

# exampleディレクトリの.htmlファイルを禁止
Disallow: /example/*.html

# 上記では.html.erbといったファイルも含まれてしまうため
# 末尾に$をつける事で回避することが可能。
Disallow: /example/*.html$

サイトマップの指定

robots.txtにサイトマップの場所を書いてあげることで、クローラーが回ってきた際の道標の役割になります。
GoogleはGoogle consoleからサイトマップを送信するため必要ありませんが、その他の検索エンジンのクローラーが回ってきた時のことを考えて設定しておくと良いでしょう。
あなたの知らない検索エンジンでのSEO効果が期待できるかもしれません。

# サイトマップの場所
Sitemap: https://syncer.jp/sitemap.xml

robots.txtにしていてもインデックスされちゃう原因

実はrobots.txtを適切に作成しても検索エンジンにインデックスされてしまう事もあります。
理由として考えられるのが、外部リンクからクローラーが回ってきてしまう。という要因。
どうしてもクローラーにインデックスさせたくないページに関しては、

<meta name=”robots” content=”noindex”>

headセクションに挿入するだけでインデックス禁止にすることができます。

wordpressでサイトを構築している場合は、SEO対策用のプラグインで設定できる為、直接書かなくてもいい場合が殆どです。
クローラーにとってあなたのサイトが「高品質で分かりやすいサイト」と認識してい貰える設定を心がけましょう。

robots.txtテスターを使ってみよう

robots.txtの作成が終わったら、実際に上手く機能するかをGoogleウェブマスターツールのrobots.txtテスターを使って確認してみましょう。

SEO対策で活用したいrobots.txtの作り方

ウェブマスターツールのメニューからrobots.txtを開きます。

SEO対策で活用したいrobots.txtの作り方

上記のページが表示されますので、robots.txt記入欄に書いてテストを行ないます。

SEO対策で活用したいrobots.txtの作り方

しっかりとクローラーがブロックされている場合は、上記のように表示してくれます。

robots.txtが正しく動作するか心配!という方は是非活用してみてください。

robots.txtを正しく設定してSEO対策につなげよう。

SEO対策で活用したいrobots.txtの作り方

サイト全体が大きく拡大していくと、サイト全体の構造化や不要なインデックスの整理など大変になってきます。

「サイトコンテンツの質は低くない!」

「思ったようにSEOランクが上がらない!」

そんな悩みを抱えている方は是非robots.txtでサイトをスックリとスリムアップさせてみてはいかがでしょうか。
スケールアップしていくことが予想されるサイトに関しては、サイト構築前にディレクトリマップの作成やSEO設計をきちんと行うことで対処可能です。
サイト構築前にnoindexやrobots.txtの設定も含めて考えていきたいですね。

またWordpressでサイト構築されている方は、プラグインなどの設定を正しく行うことでSEO効果を高めることも可能です。

▶【ワードプレス初心者講座】seo対策につかえるプラグイン10選

PR

Instagram Feed

Load More
Something is wrong. Response takes too long or there is JS error. Press Ctrl+Shift+J or Cmd+Shift+J on a Mac.

Instagram

WEB DIRECTOR

マンノカズミチ

バンドマンを経て、台湾で日本語教師をしてましたが、2016年より株式会社AWESOMEにてWEB開発とコンテンツ制作を担当しております。SEO対策と記事執筆が得意分野です。こっそり台湾と日本のハーフです。

他の投稿を見る →