近日オープン
YSTに限らず、Googleでも既にインデックスもしくはクロールの対象となっているページからのリンクを受けなくては、クローラーも見つけようがない。ドメインのトップにおいては例外かもしれないが。
ただ一つのインバウンドリンクで、しかもリンク元が弱小なページの場合、どこまでインデックスされるものなのか。試してみる。
インデックスされるためには、いくつかの条件を満たす必要があるとは思うが、取り合えず当サイトで実験してみる。
結論：『弱小なサイトのページでも、いづれはインデックスされる』。今後の課題としては、サイトやページの更新を行わず、放置した場合はどうなるかというところ。
2007/06/29 実験開始
2007/07/03,12:24:46,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,1326,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
結構早く来ました。
2007/07/10,12:25:57,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,1704,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
7日間隔のペースかな。次はct,rzのどちらが来るのか。
2007/07/08,10:20:32,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,985,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
やっと来ました。
2007/07/15 Googleでインデックスを確認。キャッシュの日付(2007年7月8日 01:20:32 GMT)。
2007/07/16,06:39:24,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,1157,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/07/17,02:23:48,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,1156,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/07/17,16:44:25,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,2277,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
7日間隔のペース。またljが来た。当分インデックスされなさそう。
2007/07/20 Googleで”補足結果”表示を確認。キャッシュの日付(2007年7月8日 01:20:32 GMT)。
2007/07/23 Googleで正常表示を確認。キャッシュの日付(2007年7月16日 17:23:47 GMT)。
2007/07/24,00:22:59,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,1335,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/07/30 Googleで”補足結果”表示。キャッシュの日付(2007年7月16日 17:23:47 GMT)。インデックスはされるものの、”補足結果”となってしまってはインデックスされていないのも同然。
2007/08/01,06:38:42,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,1401,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/08/01 昨日からGoogleで”補足結果”表示がなくなっている。Googleは”補足結果”表示を取りやめたようだ。
2007/08/08,13:54:46,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,3593,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
前回は2007/07/17なので23日ぶり。
2007/08/09,18:36:25,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,1492,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
8日ぶり。
2007/08/15,14:00:00,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,4024,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
7日ぶり。
2007/08/17 18:23 Googleで特別構文 inurl:yourmall.fitss.com で検索した場合、当ページがヒットする。キャッシュの日付は 2007年8月9日 09:36:25 GMT。
2007/08/18,01:30:52,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,1614,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/08/20 Yahooではインデックスされていない。
2007/08/22,14:01:27,lj512023.crawl.yahoo.net,"","-",GET,"","1.0",200,4627,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
2007/08/22,19:57:25,crawl-66-249-73-197.googlebot.com,"","-",GET,"","1.1",200,1646,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/08/23 18:42 Yahooで siteコマンドで検索した場合確認できないが、inurlで検索すると当ページが表示されるのでインデックスされているものとみなす。
キャッシュの日付は2007年8月8日。『弱小なサイトのページでも、いづれはインデックスされる』ということか。
2007/08/27,07:38:15,crawl-66-249-73-197.googlebot.com,"","-",GET,"","1.1",200,1753,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/08/29,15:07:20,lj512023.crawl.yahoo.net,"","-",GET,"","1.0",200,5337,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
2007/09/04,03:34:54,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,1789,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2007/09/05 14:20 Yahooで siteコマンドで検索時、ヒット。キャッシュの日付は2007年8月29日。
2007/09/07,04:45:48,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,5797,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
2007/09/15,01:14:58,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,5799,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
新しい実験。
smstest4.htmlはGoogleSitemapsに記載している為か、Googleのクローラーのアクセス頻度は、当ページのアクセス頻度より高い。
本日より、当ページもGoogleSitemapsに記載し、Googleのクローラーのアクセス状況を観察する。
2007/09/19 20:14 実験開始。本日より、当ページをGoogleSitemapsに記載し経過観察に入る。
2007/10/15,18:01:29,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,6790,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
2007/10/27,14:19:43,lj512023.crawl.yahoo.net,"","-",GET,"/ysttest1.html","","1.0",200,6792,"-","","Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
2007/10/28,05:38:24,crawl-66-249-73-197.googlebot.com,"","-",GET,"/ysttest1.html","","1.1",200,2123,"-","","Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Monday, 02-Feb-2026 21:10:46 JST
©2005 YourMall