SEO

クローラー対策:robots.txtの仕組みと使い方とは

投稿日:

robot

Google検索エンジン最適化スターターガイド」でSEOの基礎学習をしていきます。

今回は「robots.txtを効果的に設定しよう」についてアウトプットしていきます。

robots.txtとは?

robots.txtとは、検索エンジンに対して

クロールするかどうかを導くためのファイルです。

robots.txtでスクロールを許可しない設定になっている

URLには、検索結果に表示されません。

使い方は、robots.txtという名前で

各Webサイトのルートディレクトリに置きます。

そうすると、検索エンジンが認識できます。

robots.txt の書き方

robots.txt の書き方は決まっています。

「User-agent」と「Disallow」という二つのキーワードを

組み合わせてクロールの許可および拒否を設定します。

具体的な記載の仕方は、Googleサポートをご覧ください。

ネットビジネス的にはあまり関係ない

通常のブログ使用において、robots.txt はほとんど意識する必要はありません。

またネットビジネスの場合は、情報発信してお金を稼ぐわけですから、

検索結果に載せないで選択肢はほとんどないでしょう。

このブログを読んでいる方のほとんどはrobots.txtを意識する必要はありません。

私も全く意識していません。

robots.txt以外にも検索エンジンにクロールさせない方法はある

robots.txt に書き込む以外にも、検索エンジンにクロールさせない方法はあります。

・noindexメタタグを記載する

・ .htaccessファイルを作る

などです。ここでは詳しく述べませんが、興味がある方は調べてみてください。

それぞれ設定方法を間違うと、検索エンジンにとっても管理者にとっても

不利益なことになってしまいますので、よく理解した上で対応するようにしましょう。

基本的にネットビジネスでブログを運営する程度であれば、あまり関係のない話です。

みそごろうメルマガ

-SEO

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

SEO超初心者が一昔前のグーグル社内向け資料発見!中の使えるお宝14個とは

SEOはしっかり勉強しないと理解できないし、手をつけるべきではない。 これまでは、そう思っていました。 ところが、本ブログのアクセスが全く伸びてこないので、さすがに 「無知ゆえの大きな過ちを犯していな …

コンテンツの話:適切なアンカーテキストとは

「Google検索エンジン最適化スターターガイド」でSEOの基礎を学ぶ。 今回は「適切なアンカーテキストを書こう」について、私なりにアウトプットします。 アンカーテキストとは アンカーテキストとは、リ …

サイト構造の話:ナビゲーションをパンくずリストやサイトマップで分かりやすく

記事数が増えるほどナビゲーションが重要 今自分がサイトのどの位置にいるのか? 他にはどのようなコンテンツがあるのか? サイトの規模、記事数が増えるほど、ナビゲーションの重要性が高まります。 ナビゲーシ …

はてなブログのサイトマップURLとウェブマスターツール登録方法

  サイトマップをウェブマスターツールに登録することは、 検索エンジンに自己紹介をするようなものです。 「私のサイトにはこういう記事があります。」 サイトマップで検索エンジンに宣言することが …

ブログのGoogleインデックス速度を測る簡単な方法

トレンドサイトなど、ネットビジネスで稼ぐためには 検索サイトからのアクセスが欠かせません。   よっぽど強力な影響力をもつSNSなどを所有していない限り、 検索からのアクセスがほとんどを占め …

■プロフィール:みそごろう

元日立系システムエンジニア。
脱サラして東京から妻子とともに田舎へ。

自己投資に累計1000万円以上つぎ込み、ネットビジネスで起業を決意。子供に仕事内容を堂々と話せる「健全なネットビジネス」を第一に実践中。

完全に0から、月収10万→150万→今ではサラリーマンの年収をゆうに超える月収を稼ぐまでに。不動産などの投資実践もしながら、長崎のとある田舎町で家族とストレス軽めな生活を送っています。

■ネットビジネスの実績
ブログ収益 300万円以上
メルマガ収益 1500万円以上

■指導実績
月収50万以上…1名
月収20万以上…5名
月収10万以上…多数+妻

follow us in feedly