SEO

クローラー対策:robots.txtの仕組みと使い方とは

投稿日:

robot

Google検索エンジン最適化スターターガイド」でSEOの基礎学習をしていきます。

今回は「robots.txtを効果的に設定しよう」についてアウトプットしていきます。

robots.txtとは?

robots.txtとは、検索エンジンに対して

クロールするかどうかを導くためのファイルです。

robots.txtでスクロールを許可しない設定になっている

URLには、検索結果に表示されません。

使い方は、robots.txtという名前で

各Webサイトのルートディレクトリに置きます。

そうすると、検索エンジンが認識できます。

robots.txt の書き方

robots.txt の書き方は決まっています。

「User-agent」と「Disallow」という二つのキーワードを

組み合わせてクロールの許可および拒否を設定します。

具体的な記載の仕方は、Googleサポートをご覧ください。

ネットビジネス的にはあまり関係ない

通常のブログ使用において、robots.txt はほとんど意識する必要はありません。

またネットビジネスの場合は、情報発信してお金を稼ぐわけですから、

検索結果に載せないで選択肢はほとんどないでしょう。

このブログを読んでいる方のほとんどはrobots.txtを意識する必要はありません。

私も全く意識していません。

robots.txt以外にも検索エンジンにクロールさせない方法はある

robots.txt に書き込む以外にも、検索エンジンにクロールさせない方法はあります。

・noindexメタタグを記載する

・ .htaccessファイルを作る

などです。ここでは詳しく述べませんが、興味がある方は調べてみてください。

それぞれ設定方法を間違うと、検索エンジンにとっても管理者にとっても

不利益なことになってしまいますので、よく理解した上で対応するようにしましょう。

基本的にネットビジネスでブログを運営する程度であれば、あまり関係のない話です。

みそごろうメルマガ

-SEO

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

Googleが考える質の高いコンテンツとは

「質の高いコンテンツを用意することが最良のSEO対策である。」という話をよく聞きます。「質の高いコンテンツ」とは一体どういうものなのでしょうか?本質を探るには、本丸を調査するのが一番。ということで、G …

Google検索エンジン結果順位決定の仕組みがよく分かる動画発見!元SE的に噛み砕いてみた

Googleの検索エンジンがどのようにして 検索結果を導き出しているのかご存知でしょうか? Googleがその仕組みを分かりやすく説明してくれていますので、 それを参考にしながらお話ししていきたいと思 …

クローラー対策:nofollowタグの効果と書き方

「Google検索エンジン最適化スターターガイド」でSEOの基礎学習をしていきます。 今回は「リンクにnofollow属性を活用しよう」についてのアウトプットです。 nofollowとは? nofol …

アクセスアップ効果狙うなら記事タイトル変更も可能!はてなブログは注意

記事タイトルは一度決めたら変更できない。   そう思っていませんか?   実は結構簡単にさくっと変えられます。   トレンドアフィリエイトの場合は、 タイトル付けが収益を …

コンテンツの話:見出しタグの使い方

「Google検索エンジン最適化スターターガイド」でSEOの基礎学習を。 今回は「見出しタグを適切に使おう」について、アウトプットしていきます。 見出しタグには6種類 見出しタグは全部で6種類あります …

プロフィール:みそごろう

元日立系のシステムエンジニア。
脱サラして東京から妻子と田舎へ。

自己投資に1000万円以上つぎ込み、ネットビジネスで起業を決意。
完全に0から月収10万→150万→そして今ではサラリーマンの年収をゆうに超える額の月収を稼ぐまでに。不動産収入など不労所得を増やす投資実践をしながら、田舎で家族と自由でストレス軽めな生活を送っています。

子供に仕事内容を堂々と話せる、健全なネットビジネスを第一に実践中。ネットビジネスや田舎起業のことでしたら何でも下記のフォームからご質問下さい。

実績

【ブログ】
月収:¥118,056

【メルマガ(情報発信)】
2015年
企画販売開始3分で完売。月収150万。
2016年
年収1000万以上。

【指導実績】
月収20万以上…3名
月収10万以上…7名
月収5万以上…多数
日給3万…妻

検索

follow us in feedly

・強力な媒体×100記事未満で月10万稼ぐ術
・3年間のノウハウコレクターから
 10万→150万と一気に駆け上がったワケ
・Yahoo!に掲載される良質メディアを作る術

これら全てを無料メール講座に登録して手に入れて下さい。500ページを超えるマニュアルもプレゼント中。