検索エンジンに対する理解を深める

このページは検索エンジンに対する理解を深めるための、あくまでも個人的な興味を満たすためのページです。ユア・モールがオープンするまでには、このコンテンツは消滅すると思います。

YSTのインデックスにはキャッシュのリンクがない。(2008.10.23 11:56)

クローラーのアクセスは確認しており、site:yourmall.fitss.com での検索結果での更新日付とも一致しているが、キャッシュのリンクがないので正常にはインデックスされていないと思われます。以前のGoogleでのか”補足結果”状態のようです。やはりそれなりの被リンクがないと正常なインデックスは期待できないのでしょうか。

Google Sitemaps を利用した場合のインデックスに関する実験開始。(2007.07.09 18:41)

Google Sitemaps クロールインデックス実験

YSTとGoogleのインデックスに関する実験開始。(2007.06.20 14:28)

YST クロールインデックス実験
2007/07/21 以降、トップページ以外にアクセスしてこない。

Googleの『補足結果』について、考えてみたいと思い、2007.06.11にnomal1-2tr.htmlのページを更新してみましたが、Googleのクローラーが来ないので、クローラーのアクセスを促進する目的でトップページを更新。(2007.06.20 14:28)

クローラーのアクセスを促進する効果があるかどうかは不明ですが... 現状では、Google サイトマップに記述しているページはクローラーのアクセスが結構あります。
2007/06/25,13:37:31,crawl-66-249-65-161.googlebot.com,"","-",HEAD,"/","","1.1",200,0,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/06/29,13:26:07,crawl-66-249-73-197.googlebot.com,"","-",GET,"/nomal1-2tr.html","","1.1",200,1417,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/07/08,07:58:32,crawl-66-249-73-197.googlebot.com,"","-",GET,"/","","1.1",200,5376,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/07/09,16:59:00,crawl-66-249-73-197.googlebot.com,"","-",HEAD,"/","","1.1",200,0,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

トップページだけですが、やっとGoogleにインデックスされました。(2006.06.19 13：07)

特に何の手当てもしてはいません。トップページの更新をちょこちょこ行っただけです。
クローラーが来た日付時刻は[06/Jun/2006:19:14:10 +0900]です。

Googleにインデックスされるには被リンクを増やすしか無いのか。(2006.06.13 10:41)

被リンクはGoogleにインデックスされた1ページからの一つでは不足なのか。

まだGoogleのインデックスは復活していません。(2006.06.12 13:18)

相変わらずクローラーは来ているのですが。インデックスされません。
タイトルを変えてみます。
Your Mall → 検索エンジンに対する理解を深める - Your Mall -

当サイトがGoogleのインデックスからサイトごと削除されている原因として思いつくこと。(2006.05.31 04:10)

被リンクが少ない。
サブドメインである。

Googleのインデックスからサイトごと削除されているみたいです(当サイト)。(2006.05.23 11:50)

クローラーは来ているのですが...
しばらく放置していたのが悪かったのでしょうか。

GETではなくHEAD(2006.05.12 10:10)

HEAD / HTTP/1.1
最近、よく目につきます。

クローラーの収集サイクル(2005.09.09 16:00)

クローラーの収集サイクルが長くならないように更新しておきます。
Googleに何か大きな変化？
当サイト内の多くのページで、Googleのロボットが来た様子がないのにキャッシュの日時が更新されているのを発見(2005.11.17)。
全頁の内容更新(2005.11.17 04:05)。

現在の日時は Monday, 02-Feb-2026 19:33:33 JST です。

サイトオープンまでに、解決したいこと、理解しておきたいことがありました。ハイパーリンクのやり方は色々あると思いますが、どの方法がSEO的に良いのか。
３種類の方法でハイパーリンクを作成し、リンク先が検索エンジンにインデックスされるのかどうかを検証してみようと思います。

OnClickによるリンク(js.html)

通常のテキストリンクに rel="nofollow"をセット(nf.html)

FORMタグによるリンク

通常のテキストリンク(比較用)(nomal.html)

この検証の結果として期待するのは、OnClick、rel="nofollow"、formタグのそれぞれにおいて、各検索エンジン(Google、Yahoo、MSN)にインデックスされないことです。そしてその先には...

2005.02.28　通常のテキストリンク(比較用)が拾われませんね。かれこれ10日ほど経過するのですが。

2005.03.03　通常のテキストリンク(比較用)はまだ拾われませんね。何時になったら拾ってくれるのでしょう。

もちろんOnClickによるリンクも拾われていませんし、

FORMタグによるリンクもまだです。

2005.03.30　Googlebotは毎日来ているが、TOPページ以外は無視されているかのようです。YahooやMSNは音沙汰無しです。

2005.03.31　Yahooがやっと来ました。OnClickによるリンクとFORMタグによるリンクは辿りませんでした。

2005.04.01　Googlebotは通常のテキストリンク(比較用)を辿ったようです。　

2005.05.14　通常のテキストリンク(比較用)はGoogleにインデックスされていますが、他のページはインデックスされていません。トップページと通常のテキストリンク(比較用)のページの２ページのみインデックスされている状態です。ここでサイトに通常のテキストリンク(比較用)２を追加してみます。(nomal2.html)これがインデックスされれば、他のリンク方法ではインデックスされないと結論付けていいと思います。

念の為に、OnClickによるリンクと通常のテキストリンクに rel="nofollow"をセットのタイプ、そして

FORMタグによるリンク

を追加しておきます。

2005.06.07　Googlebotは毎日お越しのようですが、検索結果のキャッシュは更新されていません(2005年5月18日 11:38:17 GMT)。通常のテキストリンクも2005年4月14日 11:15:30 GMTとなっています。通常のテキストリンク(比較用)も内容を更新しておきます。

2005.06.17　検索結果のキャッシュは 2005年6月8日 00:51:48 GMT となっています。通常のテキストリンクも 2005年6月8日 03:54:29 GMT となっています。更新しないとキャッシュ表示も更新されないということですね。

2005.07.02　2005年6月18日に通常のテキストリンク(比較用)２がGooglebotにクロールされました。そして2005年6月30日に再びクロールされ、このタイミングで検索結果に表示されるようになりました。キャッシュの日時は2005年6月18日 08:44:09 GMT00:51:48 GMT となっています。

crawl-66-249-64-37.googlebot.com - - [11/Jul/2005:18:36:46 +0900] "GET /nomal2.html HTTP/1.0" 200 942 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-65-210.googlebot.com - - [03/Aug/2005:11:50:46 +0900] "GET /nomal2.html HTTP/1.1" 200 685 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

2005.07.02　通常のテキストリンク(比較用)の階層下にもうひとつのページ1-1を追加。さらに同列に1-2、1-3を追加。1-1はサイトのトップページと階層トップページへのリンクを配置。1-2はサイトバナーにサイトのトップページへのリンクを配置。1-3はリンクは一切なし。

crawl-66-249-71-18.googlebot.com - - [12/Jul/2005:22:17:17 +0900] "GET /nomal.html HTTP/1.0" 200 1405 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-70.googlebot.com - - [13/Jul/2005:12:26:48 +0900] "GET /nomal1-1.html HTTP/1.0" 200 733 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-65-203.googlebot.com - - [15/Jul/2005:01:33:45 +0900] "GET /nomal1-3nr.html HTTP/1.1" 200 808 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-65-203.googlebot.com - - [15/Jul/2005:02:16:44 +0900] "GET /nomal1-2tr.html HTTP/1.1" 200 829 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2005/07/27 9:59　nomal1-2tr.htmlとnomal1-3nr.htmlがURL表示状態。階層トップへのリンクが無いことが原因なのだろうか？両者とも元のページへ戻れないのは不自然(targetを設定して別窓で開く場合は、窓を閉じれば良いので不自然とは言えないが)である。また、1-2については、サイトのトップページへページランクを集中させるリンク構造となり、かなり問題がありそう。Mozilla/5.0がどのような理由で来たのかは分からないが、URL表示状態に関係していることは間違いなさそう。
crawl-66-249-64-30.googlebot.com - - [28/Jul/2005:05:41:43 +0900] "GET /nomal.html HTTP/1.0" 200 1546 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-33.googlebot.com - - [30/Jul/2005:16:21:38 +0900] "GET /nomal1-2tr.html HTTP/1.0" 200 909 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
2005/08/03 9:23　キャッシュを確認(2005年7月30日 07:21:38 GMT)
crawl-66-249-71-29.googlebot.com - - [31/Jul/2005:15:51:57 +0900] "GET /nomal1-3nr.html HTTP/1.0" 200 888 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
2005/08/05 07:36　キャッシュを確認(2005年7月31日 06:51:57 GMT)
2005/08/01 18:20　nomal1-1.htmlのURL表示状態を確認。
crawl-66-249-65-210.googlebot.com - - [03/Aug/2005:11:50:43 +0900] "GET /nomal.html HTTP/1.1" 200 995 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2005/08/05　nomal1-1.htmlがURL表示状態。nomal1-2tr.htmlとnomal1-3nr.htmlは正常。7/27の状況が反転してしまった。

2005.07.07　テストページを４ページ追加。メインページ１ページと配下に３ページを配置。メインページはサイトマップに関する考察とし、配下のページはサイトマップに関する考察-序論、サイトマップに関する考察-本論、サイトマップに関する考察-結論とする。内容は無意味なものになると思う。

crawl-66-249-71-39.googlebot.com - - [13/Jul/2005:12:49:18 +0900] "GET /smstest1.html HTTP/1.0" 200 1098 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"※a
crawl-66-249-64-33.googlebot.com - - [20/Jul/2005:03:59:04 +0900] "GET /smstest2.html HTTP/1.0" 200 1251 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"※a
crawl-66-249-66-68.googlebot.com - - [23/Jul/2005:13:58:17 +0900] "GET / HTTP/1.1" 200 3438 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"※a ※以下のsmstest3.htmlがURL表示状態になっている原因かもしれないとの考えから、ここにこのログを記載した。
crawl-66-249-64-66.googlebot.com - - [25/Jul/2005:07:44:08 +0900] "GET /smstest.html HTTP/1.0" 200 1175 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"※a
2005/07/27 9:59　smstest3.htmlがURL表示の状態。smstest3.htmlはクロールされていない。従って、※aの何れかで取得したリンクを中身なしでインデックスしたということになる。
crawl-66-249-71-72.googlebot.com - - [28/Jul/2005:05:19:12 +0900] "GET /smstest3.html HTTP/1.0" 200 1201 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
キャッシュを確認(2005年7月27日 20:19:12 GMT)
crawl-66-249-65-210.googlebot.com - - [03/Aug/2005:11:50:43 +0900] "GET /smstest1.html HTTP/1.1" 200 743 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-65-210.googlebot.com - - [03/Aug/2005:11:50:43 +0900] "GET /smstest2.html HTTP/1.1" 200 785 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-65-210.googlebot.com - - [03/Aug/2005:11:50:44 +0900] "GET /smstest.html HTTP/1.1" 200 781 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-65-210.googlebot.com - - [03/Aug/2005:11:50:44 +0900] "GET /smstest3.html HTTP/1.1" 200 716 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-65-210.googlebot.com - - [03/Aug/2005:11:50:46 +0900] "GET /nomal2.html HTTP/1.1" 200 685 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-71-18.googlebot.com - - [03/Aug/2005:19:35:04 +0900] "GET /smstest2.html HTTP/1.0" 200 1331 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-67.googlebot.com - - [04/Aug/2005:18:36:47 +0900] "GET /smstest.html HTTP/1.0" 200 1255 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

crawl-66-249-71-57.googlebot.com - - [17/Feb/2005:13:49:35 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-57.googlebot.com - - [17/Feb/2005:13:49:39 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-4.googlebot.com - - [18/Feb/2005:14:08:52 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-57.googlebot.com - - [19/Feb/2005:14:04:29 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-57.googlebot.com - - [19/Feb/2005:14:04:30 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-7.googlebot.com - - [19/Feb/2005:14:19:05 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-17.googlebot.com - - [20/Feb/2005:13:34:35 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-17.googlebot.com - - [20/Feb/2005:13:34:35 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-16.googlebot.com - - [21/Feb/2005:13:41:47 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-16.googlebot.com - - [21/Feb/2005:13:41:47 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-27.googlebot.com - - [22/Feb/2005:13:07:28 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-27.googlebot.com - - [22/Feb/2005:13:07:29 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-10.googlebot.com - - [22/Feb/2005:13:17:28 +0900] "GET / HTTP/1.0" 200 1603 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-67.googlebot.com - - [23/Feb/2005:12:36:43 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-67.googlebot.com - - [23/Feb/2005:12:36:44 +0900] "GET / HTTP/1.0" 200 3651 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-1.googlebot.com - - [23/Feb/2005:13:52:53 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-1.googlebot.com - - [23/Feb/2005:13:52:54 +0900] "GET / HTTP/1.0" 200 3651 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-54.googlebot.com - - [24/Feb/2005:13:33:02 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-54.googlebot.com - - [24/Feb/2005:13:33:03 +0900] "GET / HTTP/1.0" 200 3651 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-7.googlebot.com - - [25/Feb/2005:13:58:15 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-7.googlebot.com - - [25/Feb/2005:13:58:16 +0900] "GET / HTTP/1.0" 200 4267 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-50.googlebot.com - - [26/Feb/2005:13:59:18 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-50.googlebot.com - - [26/Feb/2005:13:59:19 +0900] "GET / HTTP/1.0" 200 4267 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-1.googlebot.com - - [27/Feb/2005:13:55:20 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-1.googlebot.com - - [27/Feb/2005:13:55:21 +0900] "GET / HTTP/1.0" 200 4267 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-7.googlebot.com - - [28/Feb/2005:13:59:02 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-7.googlebot.com - - [28/Feb/2005:13:59:03 +0900] "GET / HTTP/1.0" 200 5627 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-55.googlebot.com - - [01/Mar/2005:14:45:45 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-55.googlebot.com - - [01/Mar/2005:14:45:46 +0900] "GET / HTTP/1.0" 200 5627 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-52.googlebot.com - - [02/Mar/2005:14:17:26 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-52.googlebot.com - - [02/Mar/2005:14:17:27 +0900] "GET / HTTP/1.0" 200 5627 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-52.googlebot.com - - [03/Mar/2005:13:37:11 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-52.googlebot.com - - [03/Mar/2005:13:37:11 +0900] "GET / HTTP/1.0" 200 5627 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-3.googlebot.com - - [04/Mar/2005:13:25:32 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-3.googlebot.com - - [04/Mar/2005:13:25:32 +0900] "GET / HTTP/1.0" 200 6933 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-47.googlebot.com - - [04/Mar/2005:13:31:48 +0900] "GET / HTTP/1.0" 200 6933 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-40.googlebot.com - - [05/Mar/2005:00:39:21 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-40.googlebot.com - - [05/Mar/2005:00:39:22 +0900] "GET / HTTP/1.0" 200 7243 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-9.googlebot.com - - [05/Mar/2005:13:39:00 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-9.googlebot.com - - [05/Mar/2005:13:39:00 +0900] "GET / HTTP/1.0" 200 7243 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-54.googlebot.com - - [06/Mar/2005:13:22:22 +0900] "GET / HTTP/1.0" 200 7243 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-7.googlebot.com - - [06/Mar/2005:13:37:19 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-7.googlebot.com - - [06/Mar/2005:13:37:20 +0900] "GET / HTTP/1.0" 200 7243 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-10.googlebot.com - - [07/Mar/2005:15:15:38 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-10.googlebot.com - - [07/Mar/2005:15:15:39 +0900] "GET / HTTP/1.0" 200 7243 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-14.googlebot.com - - [08/Mar/2005:14:00:50 +0900] "GET / HTTP/1.0" 200 8773 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-42.googlebot.com - - [09/Mar/2005:16:41:34 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-71-42.googlebot.com - - [09/Mar/2005:16:41:34 +0900] "GET / HTTP/1.0" 200 8773 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
(省略)
crawl-66-249-66-116.googlebot.com - - [31/Mar/2005:11:22:57 +0900] "GET /robots.txt HTTP/1.1" 404 25 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-66-116.googlebot.com - - [31/Mar/2005:11:22:58 +0900] "GET / HTTP/1.1" 200 1974 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-66-116.googlebot.com - - [31/Mar/2005:12:51:27 +0900] "GET /index.html HTTP/1.1" 200 1974 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-66-116.googlebot.com - - [31/Mar/2005:12:55:27 +0900] "GET /nomal.html HTTP/1.1" 200 916 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-6.googlebot.com - - [31/Mar/2005:13:21:43 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
crawl-66-249-64-6.googlebot.com - - [31/Mar/2005:13:21:43 +0900] "GET / HTTP/1.0" 200 9660 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

fj1002.inktomisearch.com - - [30/Mar/2005:09:12:13 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
fj1006.inktomisearch.com - - [30/Mar/2005:09:12:13 +0900] "GET / HTTP/1.0" 200 9496 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
lj2398.inktomisearch.com - - [30/Mar/2005:13:10:01 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
lj2256.inktomisearch.com - - [30/Mar/2005:13:10:01 +0900] "GET / HTTP/1.0" 200 9496 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
lj2503.inktomisearch.com - - [30/Mar/2005:13:10:12 +0900] "GET /nomal.html HTTP/1.0" 200 916 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
lj2219.inktomisearch.com - - [30/Mar/2005:13:10:14 +0900] "GET /nf.html HTTP/1.0" 200 697 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
lj1193.inktomisearch.com - - [30/Mar/2005:20:04:06 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
lj1251.inktomisearch.com - - [30/Mar/2005:20:04:07 +0900] "GET / HTTP/1.0" 200 9496 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
lj1263.inktomisearch.com - - [30/Mar/2005:20:04:55 +0900] "GET /nf.html HTTP/1.0" 200 697 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
fj5006.inktomisearch.com - - [31/Mar/2005:14:39:40 +0900] "GET /robots.txt HTTP/1.0" 404 13 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
fj5006.inktomisearch.com - - [31/Mar/2005:14:39:40 +0900] "GET / HTTP/1.0" 200 9660 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"