ネットビジネスで起業して稼ぐ!30代妻子持ちが脱サラ田舎暮らし

田舎ネットビジネス起業家みそごろうのブログ

クローラー対策:robots.txtの仕組みと使い方とは

   

robot

Google検索エンジン最適化スターターガイド」でSEOの基礎学習をしていきます。

今回は「robots.txtを効果的に設定しよう」についてアウトプットしていきます。

robots.txtとは?

robots.txtとは、検索エンジンに対して

クロールするかどうかを導くためのファイルです。

robots.txtでスクロールを許可しない設定になっている

URLには、検索結果に表示されません。

使い方は、robots.txtという名前で

各Webサイトのルートディレクトリに置きます。

そうすると、検索エンジンが認識できます。

robots.txt の書き方

robots.txt の書き方は決まっています。

「User-agent」と「Disallow」という二つのキーワードを

組み合わせてクロールの許可および拒否を設定します。

具体的な記載の仕方は、Googleサポートをご覧ください。

ネットビジネス的にはあまり関係ない

通常のブログ使用において、robots.txt はほとんど意識する必要はありません。

またネットビジネスの場合は、情報発信してお金を稼ぐわけですから、

検索結果に載せないで選択肢はほとんどないでしょう。

このブログを読んでいる方のほとんどはrobots.txtを意識する必要はありません。

私も全く意識していません。

robots.txt以外にも検索エンジンにクロールさせない方法はある

robots.txt に書き込む以外にも、検索エンジンにクロールさせない方法はあります。

・noindexメタタグを記載する

・ .htaccessファイルを作る

などです。ここでは詳しく述べませんが、興味がある方は調べてみてください。

それぞれ設定方法を間違うと、検索エンジンにとっても管理者にとっても

不利益なことになってしまいますので、よく理解した上で対応するようにしましょう。

基本的にネットビジネスでブログを運営する程度であれば、あまり関係のない話です。

みそごろうメルマガ

いいね!すると、ゆる~いつぶやきが届きます。
  • このエントリーをはてなブックマークに追加
  • Pocket
  • follow us in feedly

 - SEO

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

  関連記事

Google-accessup
プロモーションと分析:Google推奨の正しいアクセスアップ方法とは

「Google検索エンジン最適化スターターガイド」でSEOの基礎を学習する。 今 …

descriptionメタタグ
SEO基礎:descriptionメタタグ設定!ページ概要を記載する

「Google検索エンジン最適化スターターガイド」でSEOの基礎を学ぶ。 次は「 …

navi-top
サイト構造の話:ナビゲーションをパンくずリストやサイトマップで分かりやすく

記事数が増えるほどナビゲーションが重要 今自分がサイトのどの位置にいるのか? 他 …

Googleplex_Welcome_Sign
Googleが考える質の高いコンテンツとは

「質の高いコンテンツを用意することが最良のSEO対策である。」という話をよく聞き …

google-76522_640
SEO超初心者が一昔前のグーグル社内向け資料発見!中の使えるお宝14個とは

SEOはしっかり勉強しないと理解できないし、手をつけるべきではない。 これまでは …

ホワイトハットSEO
Google推奨のホワイトハットSEOとは?ブラックハットとの違い

「ホワイトハットSEO」という言葉を目にしました。一体どんなものなのでしょうか? …

google検索エンジン仕組み
Google検索エンジン結果順位決定の仕組みがよく分かる動画発見!元SE的に噛み砕いてみた

Googleの検索エンジンがどのようにして 検索結果を導き出しているのかご存知で …

M3_at_Night_1
ブログのGoogleインデックス速度を測る簡単な方法

トレンドサイトなど、ネットビジネスで稼ぐためには 検索サイトからのアクセスが欠か …

quality
コンテンツの話:質の高い記事を提供せよ

本コンテンツでは「Google検索エンジン最適化スターターガイド」で解説されてい …

google-mobile
モバイルSEO:Googleモバイル検索へのインデックス

「Google検索エンジン最適化スターターガイド」でSEOの基礎を学習する。 今 …

Topへ戻る