2002年12月27日
 2002年のデータは、日本語1.9倍、英語2.0倍

◆日本の検索エンジン

昨年末からの1年間の増加の高い順に、Naver 6.3倍、Alltheweb 3.0倍、FresheyeとTOCC 2.3倍、Lycos 2.3倍、Infoseek 1.7倍、Google 1.6倍、goo 1.6倍、AAA!Cafe 1.4倍、AltaVista 1.4倍、で平均1.9倍です。
.

◆海外の検索エンジン

昨年末から1年間の増加の高い順に、Alltheweb 5.2倍、Lycos 4.7倍、Teoma 3.7倍、AOL 2.8倍、Yahoo! 1.8倍、WiseNut 1.8倍、HotBot 1.7倍、Google 1.6倍、AltaVista 1.0倍、で平均2.0倍です。
.

◆検索エンジンの検索力

No日 本検索力検索評価検索数.No海 外検索数
1Fresheye100.0 98.391.7.1Openfind100.0
2Google 97.1 97.6 80.5.2Alltheweb 88.4
3goo 93.5100.0 53.4.3Lycos 88.3
4Lycos 87.6 88.6 70.8.4Yahoo! 64.5
5Alltheweb 77.1 68.5100.0.5AOL 55.6
6Naver 63.9 57.1 81.3.6HotBot 35.2
7AltaVista 62.9 63.6 50.8.7WiseNut 34.6
8AAA!Cafe 62.9 61.2 60.0.8AltaVista 33.2
9Infoseek 45.4 47.9 28.5.9Teoma 25.0
......10Google 24.7

 2002年12月21日
 楽天Lycosを傘下に、HotBotの大変身

日本 Infoseekの検索数は25.7%減少しています。3ヶ月前に90%増加し、2ヶ月前に20%増加してますので、今回減少しても3ヶ月前に比べれば70%増加しています。その他に、Allthewebが4.8%増加しています。検索数と検索力の順位は先週と同じでした。
.
年末になって検索サイトの動きがあわただしくなってきました。ショッピングサイトの楽天は米Terra Lycosからの株式譲渡と第三者割当増資を全額引き受けてLycos Japanを子会社化しました。Lycosの新資本金は74億円になり、取得金額12億円で90%の株を得たことになります。楽天は2年前の2000年12月にInfoseekを買収し、その買収金額は85億円ですので、デフレとはいえLycosを安く買ってるように思えます。
.
Yahoo! Japanでみますと、2年前の時価総額は8,360億円、月間のPVは44億、時価総額を月間PVで割ると190円です。現在の時価総額6,870億円を月間100億PVで割ると69円です。2年前が190円で現在が69円ですからPVの単価は64%減少して36%になっています。2年前のInfoseekは53円/月間PVでしたのでYahoo!の28%でした。Lycosの月間PVがわかれば有用な情報が得られます。。。
.
日本語検索サイトのオープンは、Yahoo! 1996年4月、Infoseek 1996年10月、goo 1997年3月、Excite 1997年7月、AltaVista 1998年4月、FreshEye 1998年6月、Lycos 1998年7月、Google 2000年8月、Alltheweb 2000年8月、Naver 2001年4月、などです。
.
Lycosは昨年12月に検索エンジンの自社開発を中止してWiseNutを採用し、今年11月7日にディレクトリの自社開発を中止してLooksmartを採用しています。今後はInfoseekと競合するコンテンツを調整しなければなりませんが、Lycosブランドはいつまでも残しておいてほしいものです。
.
海外 Teomaが26.8%増加し、HotBotは16.2%増加しています。その結果、検索数の順位が少し変化しました。
.
Inktomi系のHotBotはGoogleのようにシンプルなトップページに変更しました。検索フォームはInktomiだけから、FAST、Google、Inktomi、Teomaの4つからの選択になりました。これはトラフィックの増加を見込んでのことですが、どのような結果になるかわかりません。小さなことで大きな意味をもつのですが、URLが http://hotbot.lycos.com/ から本来の http://www.hotbot,com/ に替わりました。ブランドはHotBotよりもそのURLのhttp://www.htobot.com/にあることを気づいたのかも知れません。
.

 2002年12月14日
 gooの新鮮情報検索エンジン、商品検索Froogle

日本 2週間の検索数はFresheyeとTOCCが44%前後増加しました。総合の検索力の順位は先週より数値は下がりましたが順位は同じです。
.
12月3日にgooを運営しているNTT-Xから、新鮮情報検索エンジンが発表されました。4ヶ月の予定で実証実験するとのことです。ニュース情報などはリアルタイムに更新しますが、それにあわせてデータベースの更新を試み、最短で15分とのことです。収集対象をニュース以外のWebに拡張したのがねらいです。検索数を調べましたが、本家gooの半分位でした。まだ増加中で、検索評価は次回に行う予定です。
.
以前のFresheyeは更新が速いことを売り物にした検索エンジンでした。Webの更新日を確定することは難しく、ロボットの収集日としたり、さらにHTMLファイルの更新日とみなしたりしますが、時々マッチしないのがあります。不完全なHTMLで苦労してるのがブラウザと検索サイトです。真の更新日をソフトで特定することは難しいですが、ユーザーは新鮮な情報を求めていますので、新しい試みは長い目で見ていく必要があります。
.
検索動向に書きましたが、12月11日にNaverがリンクをベースにした検索とディレクトリを公開しました。脚光を浴びているリンクに関して、老舗サイトは有利になり、ドメインを変更したサイトや新しいサイトは不利になります。リンクをベースにしたディレクトリは新しい方法ですので一度利用することをお勧めします。
.
海外 2週間の検索数増減の主なものを列挙しますと、AOL 15.1%増、Lycos 13.1%増、Alltheweb 9.5%増、Google 5.7%増、と増加するところが多く見られました。
.
12月13日にGoogleは商品用検索のFroogleベータ版をオープンしました。検索フォームだけでなく、ディレクトリもありますので本格的です。検索エンジンはWeb全体を対象にWebページを収集しています。Froogleは商品だけを対象としたデータを収集し、索引化し、ディレクトリまでつくって検索サービスします。商品販売サイトのリスト、商品の特徴を表わす商品名、ドル価格表示、商品写真、支払い方法、などでページを特定、あるいは登録などで、商品情報を収集します。gooの場合もそうですが、検索エンジンは情報収集の多様化・専門化の時代に入ったようです。
.

 2002年11月29日
 CNetニュース終了、GoogleのSEOガイド

日本 更新は Alltheweb 6.6%減、goo 2.1%減など減少する所が多い週でした。検索数が先月から10%以上増減した Google、Lycos、Alltheweb、AltaVista、Naverについて、検索結果の評価を行いました。上位は、goo、Fresheye、Google、Lycos の順です。3ヶ月間の検索評価の増減をみると、Alltheweb 11.2増、AltaVista 8.1増、Infoseek 6.4増、Fresheye 5.8増、AAA!Cafe 7.7減、Naver 21.1減、になっています。4位は88.6、5位は68.5、ですので、まだトップグループと次のグループとには大きな壁があります。これがリンクを使うか使わないかによるのかは分かりません。
.
昨日のニュースにIT関連のニュースサイト、CNET Japanが12月末でサービスを終了するとのことです。CNetのスタートは1997年5月ですので5年半続いたことになります。検索デスクではWeb記事を編集し、その3か月分を公開しています。手元には97年9月前後からのファイルがあり、月単位のファイルは2002年11月で54になっています。それをみると、ZDNetが1997年9月2日、CNetは少し遅れて1997年9月20日が最初の記事です。1年後の1998年9月からIT関連の情報量は増加しています。米CNetは米ZDNetを買収しており、最近は日CNetと日ZDNetとで重複する記事が増えていました。運営しているNTTPCコミュニケーションの発表では今後オリジナルコンテンツを提供するとのことです。
.
海外 検索数の更新で増加したのは、Yahoo! 18.3%増、HotBot 17.1%増、Teoma 8.5%増、で一方減少したのは、Lycos 7.2%減、AOL 6.9%減、Alltheweb 3.9%減、などです。それから未更新は2社でした。
.
GoogleからSEOに対する見解が公開されました。場所は、米Google > Jobs,Press,Help(All About Google) > For Site Owner > Web Master Info > SEOs http://www.google.com/webmasters/seo.html です。サブタイトルは「SEOと契約する前に知っておくこと」です。善良なSEOに対してでなく、上位ランキングを誇大宣伝したり、アンフェアに操作して検索結果に影響を与える悪徳SEOに注意喚起したものです。
.
内容は4節からなっています。第1は、悪徳SEOを見分ける方法として、スパムemailに注意しなさい、誰もランキング1位を保証できない、無関係なページやドメインを使うSEOに注意しなさい、SEOへのリンクをすべきでない、など全部で9項目記しています。第2は、いわゆる"shadow" domains と "doorway" pages に対するものです。第3は、悪徳SEOを見分ける8項目を端的に示しています。最後に、SEOの被害にあったらFTCなどへ届けるようにとのアドバイスです。
.
一部のSEOの弊害が目立ってきたもので、弊害が大きくなればSEOのマイナスイメージは避けられません。検索結果の上位に表示したければアドワーズ広告やオーバーチュアなどを使ったほうが確実です。SEOはそのような広告がないときに利用されたもので、今後は広告にシフトするものと思われます。不正な操作でランクが換われば最も被害を受けるのは利用者です。その点を考えると検索エンジン側を応援しなければと思います。
.

 2002年11月22日
 Yahoo!がオーバーチュアとGoogleと提携

日本 検索数の更新はgoo 12.0%増、TOCC 3.0%増、Lycos 12.6%減、です。総合の検索力は先週と同じで、変化のない週でした。
.
今週のニュースで、Yahoo!がオーバーチュアとGoogleの2社と提携するとの発表がありました。サイト検索はオーバーチュア、ページ検索はGoogleのアドワーズ広告、と分担するようです。それに従来の広告が入りますので木目の細かい広告を作成できます。
.
Webの世界はゼロから出発し急成長していますが、それに対応してWeb広告も急展開しています。現在では、テレビで使っているインプレッションベースのもの、クリックベースのもの、そしてアフィリエイトベースのものなどが混在しています。今回のオーバーチュアやアドワーズは検索結果に呼応して広告を提供するもので、クリックベースの進化したものとみなせます。
.
広告を出すスポンサー、広告を流す掲載サイト、その間に広告会社があり、自社でまかなう所もあります。スポンサーは大規模な広告予算をもつ大会社、あまり広告予算をもたない中小企業があります。一方、掲載サイトは検索サイトや無料サイトなど大量のトラフィックをもつ大手、トラフィックの少ない中小とがあります。スポンサー、広告会社、掲載サイトにはいろいろな組み合わせがあります。
.
最初に採用されたインプレッションタイプは大手スポンサーと大手掲載サイトとを結ぶものです。現実の広告の世界をWebに持ち込んだのですが、広告の基本であるインプレッションに価値をおくかどうかで評価がわかれます。次のクリックタイプやアフィリエイトはどちらかといえば中小スポンサーと中小サイトとを結ぶものです。多数のスポンサーや掲載サイトの管理にコストがかかりますが、中小に門戸を広げた点は評価できます。
.
書籍販売で有名なAmazonはスポンサーと広告代理店がAmazon 1社、掲載サイトは大・中小という構図になっています。Googleのアドワーズ広告は、スポンサーは大・中小で、広告代理店と掲載サイトはGoogle 1社となります。そして、オーバーチュアはスポンサーは大・中小、代理店はオーバーチュア、掲載サイトは大手です。中小のスポンサーを対象にした広告会社の出現で、まず既存の中小スポンサーをあつかう広告会社が影響を受け、次に中小の掲載サイトも影響を受けます。あまり喜んでいられない心境です。
.
海外 検索数の更新は、HotBot 11.9%増、Yahoo! 7.4%増、Teoma 7.8%減、1%以内が6社でした。
.

 2002年11月15日
 Naverの検索数増減、AltaVistaの更新

日本 検索数の更新は、Naver 22.3%増、AltaVista 12.9%増、goo 4.2%増、Fresyeye 3.4%増、など増加するところの多い週でした。大幅に増加したNaverについて、その内容を調べて見ました。
.
約22%増加したNaverの更新は調査キーにより大幅な増減がみられました。9月22日に全体で227%と大幅に増加しましたが、今回はその時の増減を調整したものです。例えば、コミックは前回1,182%増加しましたが、今回70%減少しました。以下同様に、ヒントは513%増が62%減へ、文学は413%増が56%減、などです。今回、ドメインが640%増、グルメ 123%増、していますが、その増加が収集データの増加によるのか、日本語索引システムによるのかは判断できません。
.
AltaVistaは14日木曜日に調査しましたが、その時には68.6%増加していました。しかし、15日金曜日の調査では12.9%の増加と減少してましたので結果を最新のものに入れ替えました。木曜日にvrmlが大幅に増加してましたので、その原因を調べたところ、日本語の検索がサポートされてなく、世界中のものからの検索で従来の約66倍になっていました。その他に生物や文学が多かったのですが、これも中国語のものが混じっていたようです。日本語のサポートがないということを書いていたのですが、15日金曜日には日本語検索も復活しており一安心しました。
.
海外 検索数の増減は、Yahoo! 6.1%増、HotBot 11.1%減、Lycos 3.8%減、AltaVista 3.8%減、などです。AltaVistaは日本語の場合と同様に、14日の調査では19.4%増でしたが15日には3.8%減です。これも英語の検索が世界の検索になっていたためで、正常に検索できるようになりました。
.
AltaVistaは11日に検索サイトを更新しました。トップのデザインはシンプルになり、広告表示も制限したものとなっています。トップのWeb検索、image、MP3/Audio、Video、Looksmart提供のDirectory、ニュース検索と6分類しています。トップからは検索センターとして、Shopping、Autos、Travel、Careers、Personal&Dating、そしてPersonal Investingが選択できます。ニュース検索はリアルタイムが重要で、3,000ソースを15分ごとに更新するとのことです。Webの方も更新頻度が速くなっていますので、今後はランキング以外に更新が重要なファクターになるのでは思います。
.

 2002年11月8日
 ブラウザ別シェア、米Google 30億Webページへ

日本 検索数調査では、Alltheweb 4.7%増、Fresheye 4.2%減、TOCC 10.7%減、goo 2.9%減、などです。検索数の指数が毎週変わっていますが、それは一部の検索サイトで検索数が多く、それを調整しているためです。検索数指数50以上が8社ですので、検索数に関してはあまり差がありません。なお、総合の検索力の順位は前回と同じでした。
.
7日にLycosディレクトリは自社開発からLooksmartに変更しました。Lycosの検索エンジンはWiseNutで、WiseNutは今年の3月にLooksmartに買収されていますので自然な提携関係です。これでLooksmartの日本語ディレクトリは、MSN、Excite、Biglobe、DION、ODINなどにLycosが加わることになりました。
.
ナビバーの開発はブラウザの仕様で苦労しました。そこで検索デスクの昨年10月末と今年10月末とのログを較べてみました。検索したキー別に、"MSIE"は85.2%から90.9%へ、"MSIE 5"は61.4%から34.3%へ、"MSIE 6"は20.5%から55.5%へ、"Mac"は3.1%から2.7%へ、Netscape系は4.7%から4.5%へ、Operaは0%から0.6%へ、などです。主要な検索サイトやISPのYahoo!、MSN、Googleなど9社の合計は2.7%から2.3%へです。
.
IEが圧倒的ですのでIEだけを対象に作ればよいのですが、現在、Mac、Netscape、Operaにそれぞれ対応したコンテンツを作っています。NetscapeやOperaはサイドバーやホットリストに外部からコンテンツを簡単に追加できますが、IEの場合は少し制約があります。しかし、それもレジストリの書き換えというウルトラ技で解決し、理想的な検索環境が実現しました。IEではtargetを"_search"とすると検索バーを一時的に利用できますので、Web記事、検索力調査、検索評価などにも大活躍しています。
.
海外 検索数調査は、AOL 20.5%増、Alltheweb 6.7%増、Lycos 6.2%増、Yahoo! 3.3%増、Google 3.2%増、HotBot 3.0%増、と増加するところが多い週でした。7月にOpenfindが検索数トップで登場しましたが、トップとの差は徐々に縮まってきました。それでも検索数指数50以上は10社のうち4社です。
.
6日からGoogleはWebページ数30億8千万件と表示し、これまでの22億万件から大幅にアップしました。その他に、3.3億のイメージ、8.0億のニュースグループ記事を扱っています。Webページの40%が英語以外の言語で、新たにポーランドと台湾が加わり総計36ドメインをあつかっています。この膨大なデータベースを維持し、優れた検索結果を短時間に出力する検索技術を支えるハードやソフトはまさに現代の怪物です。
.

 2002年11月1日
 ディレクトリの変遷、Teoma更新

日本 検索数の更新は、Fresheye 11.2%増、Google 11.1%増で、検索数と検索力の順位に変更のない週でした。Yahoo!に次いでディレクトリの構成と内容が優れているLycosディレクトリが11月上旬に内容を変更するとのアナウンスがありました。米Yahoo!もロボット技術をベースにしたディレクトリ体系へ移行しましたので、どう変身するか興味があります。
.
検索デスクでは1996年1月から調査していますが、その当時の検索サイトは、ロボット系4社(TITAN, ODIN, 千里眼, InfoNavigator)、ディレクトリ系9社(NTT Directory, Nippon Search Engine, WWWナビゲーター, Hole-in-One, Japan Search Engine, URL広場, Yahho, CSJインデックス, JOY)、でした。しかし、現在サービスしてるのはディレクトリ系のCSJインデックスとJOYの2社だけです。一例ですが当時の「特許」の検索数でみると、ロボット系のODINは599件、ディレクトリのWWWWナビゲータは10件でした。それが現在、ロボット系Allthewebのページ検索は575,249件、ディレクトリ系Yahoo!のサイト検索は417件です。Web情報の増加で検索サイトを維持できなくなったといっても過言ではありません。
.
Webはディレクトリから出発しましたが、まずWeb独自のカテゴリの構築から始めなければなりませんでした。既存の分類法で専門家が開始したところは長続きしませんでした。草創期は過去のことをあまり知らない若い人たちの独断上でした。ディレクトリはカテゴリをサーフするだけでなく、キーワード検索も提供されるようになりました。ロボット系がページをランキングしていたためサイトを探すのは不便でしたから、サイトのみをあつかうディレクトリでも数は少ないですが十分対抗できました。
.
情報の増加でディレクトリ系はいろいろな関門を乗り超えなければなりませんでした。第1はカテゴリ数です。カテゴリ数が一定の場合、サイト総数をカテゴリ数で割った値は収集数が多くなると増加していきます。一つのカテゴリに200以上のサイトがあれば探すのは骨の折れることでした。まず、カテゴリ数を増加しなかったところがダウンしました。第2は更新型データベースの構築です。登録された情報を蓄積してるだけのところは新鮮さが失われて行きました。第3は登録型から厳選型への移行です。サイトの少ないときは登録型で広く集めなければなりませんでした。しかし、玉石混交のサイトが増え、ランキングに有効な方法がないため、厳選しなければ維持できなくなりました。ここでは厳選のできる人材確保がネックになりました。
.
その他に重要な要因として、Yahoo!躍進の秘密でもあるディレクトリ分類です。ほとんどのディレクトリは階層型でしたが、Yahoo!はネットワーク型を開発しました。それは@を使ってカテゴリ間の関連付けを実現しました。@により延データ数は実データ数の数倍になり、しかも分類しやすくなり、情報が探しやすくなるという一石三鳥以上のメリットをもたらしました。Yahoo!で@を考えた人、GoogleでKWIC紹介文を考えた人、はもっと評価されてよいのではと思います。
.
さて、2001年5月からロボット系の検索結果の評価を始めました。そのときにロボット系がページだけでなくサイトも処理していることに気がつきました。そこで、サイト検索でランク結果をしてるところを同様に評価したところロボット系の方がよい結果を得ました。Yahoo!やLycosはカテゴリ順表示でしたので評価できませんでした。ロボット系とディレクトリ系の差はランクに使う情報量によるものとみなせます。
.
米Yahoo!の新検索エンジンは情報量を増やしたものからランクしており、ページ検索ではなくWeb検索になっています。今後、サイト検索とページ検索はシームレスに融合していきます。専門家が構築したディレクトリからノウハウを抽出した人工知能的なディレクトリが実用段階に入ってきたようです。
.
海外 Teoma 37.6%増、Google 8.7%増、AltaVista 4.6%増、Yahoo! 5.3%減、です。今週からTeomaの検索エンジンが更新しました。検索数の表示は、今年5月までは万単位でしたが、5月26日から100単位になり、11月1日からは1の位まで表示します。例えば、biologyの検索数は、1,470,000から1,778,800へ、それが2,776,179へと正確になっています。
.

 2002年10月27日
 米Googleへの訴訟、利用者志向のWeb制作

日本 検索数の更新は、Infoseek 20.2%増、Google 6.8%減、Alltheweb 12.8%減、などです。調査対象10社のうち4社が更新なしでした。月末ですので大きく変化した、goo、Google、Fresheye、Alltheweb、そしてInfoseekの検索結果評価を行いました。goo、Google、Fresheyeの評価は、それぞれ、100.0、99.3、98.8で、ほとんど同じですので、検索力は検索数の順になりました。AllthewebとInfoseekはともに前回よりも10ポイントほど増加しました。
.
海外 検索数の主な更新はYahoo! 12.0%増だけで、調査対象10社のうち3社が更新しませんでした。日米とも少しお休みモードかも知れません。
.
日本では考えられないような訴訟が米Googleに対してなされています。訴訟しているのはGoogleの検索結果で上位にランクされるようにWebコンテンツ制作のコンサルティングを行っている、いわゆるWebマーケテイング会社です。Googleが9月にランク手法を改善しましたが、それで自社や顧客のランクが不当に下がったというものです。さすが訴訟社会です。ホームぺージが検索サイトに載っていないと抗議する人は少なくなりましたが、ランキングの良し悪しまで文句を言われたら検索サイトはやっていけません。
.
検索サイトのランキング手法は絶えず改良しています。リンクにはいろいろな組み合わせがあり、その重み付けも幾種類かあり、検索キーワードとページとの関連性測度も何種類かあり、しきい値を増減したり、収集したページの構成によっても、それに日本語処理によっても、検索結果のランクは異なってきます。この試行錯誤は永遠に続くのではと思っています。
.
アクセスアップを図るためにWeb制作のデザインやメタタグなどをどう書いたらよいかということから出発し、最近では検索エンジンの上位にランクされれば広告効果があるということで、上位ランクを目指してWeb制作を引き受ける会社がでてきました。検索エンジンについて有用な情報を発信し常識的なコンサルティングならよいのですが、Googleの上位ランクをめざして、その根幹のリンクにアプローチすれば少しやり過ぎです。6月にも書きましたが、ランク上位に不当なコンテンツが増えれば利用者が一番被害を受けます。各検索サイトは検索結果の上位に載せるキーワード広告を受け付けてますので、そちらを利用した方がお金の流れは自然です。
.
Webコンテンツを作る人と検索エンジンの間に立つのが上記のコンサルティング会社ですが、それとは異なり検索エンジンとその利用者の間に立って検索の普及を図っているのが検索デスクの立場です。自動車、パソコン、カメラなどは新製品を紹介する人がいますが、紹介するにあたって事前に情報提供を受けたりしています。検索デスクの場合は、検索サイトの紹介をしていますが、検索サイトからの情報提供ではなく、Webなどに公開されたものと独自の調査・分析によるものをベースにしています。最近開発したナビバーは検索エンジンのランクに不利な側面を持っていることを承知で提供しています。Web制作は検索エンジン志向も大切ですが、利用者志向はもっと大切と思ってるからです。
.
なお、1996年以来、毎週日曜日に検索力調査を行っていましたが、次回からは金曜日に変更しますので、よろしくご配慮ください。
.

 2002年10月20日
 今週はお休みします

日本 検索数の更新は、goo 8.4%増、Google 5.9%増、Alltheweb 3.8%減、で総合の検索力は1位のFresheyeと2位のGoogleとの差は僅差で、全体の順位の変動はありませんでした。
.
海外 検索数の更新は、AOL 4.2%増、HotBot 3.4%増、Yahoo! 3.2%増、で変化の少ない週でした。
*** 今週のレポートは休みます。
.

 2002年10月13日
 検索デスクバー、米Yahoo!新検索エンジン登場

日本 検索数調査は、Alltheweb 17.1%増、goo 6.5%増、でした。順位の変動はなく、したがって検索力も前週と同じでした。
.
ノーベル賞のダブル受賞は快挙で、久しぶりに明るい話題でした。ノーベル賞クラスの研究は評価されるまでに15年以上かかります。研究内容が明らかにされ興味は尽きないのですが、それと同時に、研究を隠密に評価し推薦した日本のノーベル賞選考委員の活躍に興味が惹かれます。
.
先週、一部のブラウザに検索デスクバーを表示しました。全く新しいタイプのコンテンツなのにマニュアルを作ってなく、ご迷惑をかけてしまいました。多くの方からメールをいただき、問題はエクスローラバーの操作法と新規画面の動作にあることがわかりました。表示するブラウザの制限、非表示の登録、そしてQ&Aを作成しましたので、使う前にQ&Aを読むことをおすすめします。見るだけで評価する人もいますが、少なくとも30〜50回の検索やWebを表示してから評価しても遅くないのではと思います。
.
海外 検索数調査は、Alltheweb 10.3%増、Lycos 9.8%増、AltaVista 4.5%減、HotBot 3.2%減、でした。Yahoo!の検索数調査はずっと継続していましたが、データに載せていませんでした。しかし、以下の理由で今月からリストします。
.
Googleとの更新が9月末に切れたYahoo!に結論がでました。9月29日の検索力調査に8月末からテスト中のYahoo!検索について記しましたが、それがパスし、データからの予想通りの展開になっています。もっとも重要なことですが、10月10日頃からYahoo!検索は根本的にリニューアルしました。
.
1)5種類の検索がThe Web、Directory、Newsの3種類の検索にダウンしています。ここで注目すべきことは、ページ検索が先、サイト検索は後、と従来のとは逆転したことです。そしてカテゴリー検索はThe WebとCategoryの中に入りました。
.
2)The Webは、3件のInside Yahoo!、3件のDirectory Category Matches、20件のWeb Matches、そしてRelated Searchesからなっています。従来のページ検索はGoogleの検索結果をそのまま表示しましたが、今回からはYahoo!のデータとGoogleのデータとをミックスしたものをYahoo!独自のランキング方法で表示しています。紹介文にカテゴリーがあるのがYahoo!の作成したデータです。それから、Powered by Googleの表示が消えてPowered by HPになり、Google表示は一番底にあります。BBCの時と同じようにGoogleは隠れてしまいました。
.
3)Directoryは、3件のInside Yahoo!、3件のDirectory Category Matches、20件のDirectory Site Matches、そしてRelated Searchesからなっています。いわゆるサイト検索ですが、カテゴリー順からランキング順に変更し使いやすくなっています。ここでも大幅な改良が行われています。それはサイト処理が人手のサーファからソフト処理へ移行したことです。Webコンテンツを一番よく知ってるのがサーファーといわれる人たちですから、少し残念な気がします。これは時代の流れかも知れません。
.
4)Newsは、3件のSponsor Matches、20件のYahoo! News Story Matches、そして3件のPremium News Archive Matchesからなっています。Sponsor MatchesはOvertureの広告です。最後のPremium Newsは有料ニュースで、いずれ中止するようです。
.

 2002年10月6日
 英語キーの検索、速報重視のニュース検索

日本 今週の検索数更新は、Fresheye 5.5%増、TOCC 4.5%増、Google 2.3%増、で、検索力の順位も先週と全く同じです。
.
今回は検索キーに英語を用いるとどうなるか調べて見ました。検索ロボットはリンクをもとにページを収集しますので、英語のページが混じってきます。収集したページにフィルターをかけるのですが、厳密にしてるところ、少しルーズなところがあります。数個の英語キーで検索し、上位30位までを調べた結果をまとめました。
.
(1)90%以上の日本語ページを含む −− AltaVista、AAA!Cafe
ほとんど日本語ページしか検索しません。先々週に調べたデータベースの構成比も両者は全く同じ結果でした。両者の検索エンジンは類似してるとみなせます。
.
(2)70〜90% −− Google、Alltheweb
検索結果10のうち英語ページを2ケ位含みます。紹介文でわかりますので、あまり気にならないレベルです。共に多言語データベースですので言語分けはしっかりしています。
.
(3)30〜70% −− Lycos、Naver、goo、Infoseek
検索結果の半分位が英語ページです。紹介文が英語の場合はパスすればよいのですが、少し探し難くなります。
.
(4)30%以下 −− Fresheye
英語キーの検索は不得意で、検索結果のほとんどが英語ページで占めます。それから検索結果数は他の検索サイトよりも10〜30倍多いようです。この多い分が全部英語ページとみなせます。
.
英語キーによる検索結果に英語ページを含めるのが良いのか悪いのかは永遠のテーマかも知れません。
.
海外 検索数調査は、Google 4.0%増、HotBot 3.5%減、Lycos 4.6%減、Alltheweb 5.2%減、で減少するところが多い週でした。
.
先々週末に、GoogleのNews検索ベータ版がバージョンアップしました。まだ正式版でないですが、ソースは150から4,000へ、更新は時間あたり1〜2回から15分おきへとアップしています。検索デスクのニュース検索に以前から載せていますので、一度試してみたら驚きます。日本語でも8月からgooが「最速News」でニュース記事をリアルタイムに収集し、リアルタイムに索引化し、検索提供する「実験」システムを行っています。
.
検索デスクには新聞社5社、検索サイト5社の横断検索が可能です。新しいニュースが入ったときにどの検索サイトで速く検索できるのか、半日から1日あとでどれくらいのニュースが検索できるかなどを調べれば、リアルタイム性はチェックできます。Webページとニュース記事とは根本的に異なります。Webページは更新が可能ですが、ニュース記事は更新不可で年月日時分で固定されます。ニュース記事の最初は事実関係が不明な場合が多く、真偽が増幅されるかも知れませんが、やはり速報は最も重要です。
.

 2002年9月29日
 Google検索評価で1位、米Yahoo!の検索結果

日本 検索数の更新は、Infoseek 90.5%増、Alltheweb 19.2%増、AAACafe! 18.2%増、になっています。Infoseekは7月から提供していたベータ版を24日に正式版にしました。今年中に1億ページまで収集するとのことです。その他、動画、音声、画像の検索サービスを開始し、検索ボタンも計14個に増えています。Alltehwebは2割程増加し、検索数でトップ、収集数は1億2,000万ページです。
.
今回は全検索サイトの検索評価を行いました。検索評価のトップはGoogle 100.0、2位は僅差でgoo 99.4、3位はFresheye 98.0、4位はLycos 92.0 、です。5位はAltaVista 66.5で前回より11.0増加しています。6位はAAACafe! 62.6で前回より減っています。7位はAlltheweb 60.3で検索数を考えると若干不利です。8位はNaver 52.3で、先週データを3倍以上に増やした影響がでています。9位はInfoseek 39.1で、前回と同じです。
.
検索評価の4位までと5位以下とは得点で大きな差があります。このラインはリンク情報を使っているのかいないのか、検索エンジンが第3世代か第2世代か、の境界を表わしてるようです。検索評価4と検索数1とした総合指数の検索力は1位Fresheye、2位Google、3位goo、4位Lycos、です。毎週順位が変動しています。
.
海外 検索数調査では、Teoma 12.8%増、Yahoo! 12.8増、AltaVista 4.1%減、です。今週の順位は変動しませんでした。
.
米Yahoo!の検索は良くなっています。検索は1.Summary, 2.Categories, 3.Web Sites, 4.Web Pages, 5.Newsに分かれています。トップページの検索結果はSumaryを示します。内容はYahoo!ポータルから数件のInside Yahoo!、3件のCategory、20件のWeb Siteを表示します。CategoryやWeb Siteは各20件づつのリストです。Web PageはInside Yahooと20件のPageで、Newsは3件のSponsor、20件のNews、そして3件のPremium Newsです。
.
8月末から大きく変わったのはWeb SiteとWeb Pageの検索結果の表示とランキングです。Web Siteはカテゴリ順ではなく独自のランキングで表示します。その内容はタイトル、1行の紹介文、URL、カテゴリの順でカテゴリがトップから最後になっています。次に、Web Pageは"Search Technology Powered by Google"になっています。Yahoo!のデータとGoogleのデータをミックスし、独自のランキング方法で出力しますので、Googleとは若干異なります。内容は2種類あり、Yahoo!のデータはWeb Siteと同じで、Googleのデータはタイトル、1行の紹介文、URL、サイト内検索です。Googleが4月に開放したAPL技術にYahoo!のデータを追加して新検索エンジンとしています。これでYahoo!とGoogleとの提携問題は落着です。
.

 2002年9月22日
 Naver1億4,000万へ、データベース構成の調査

日本 検索数の更新はNaverが226.6%増加して先週9位からトップへと大躍進しました。その他、TOCC 29.1%増、Fresheye 26.6%増、Alltheweb 3.5%増、goo 3.8%減、です。検索力はNaverの順位は変わらず、Fresheyeが4位から2位へ上がっています。検索評価は月末の次回に行う予定です。
.
9月17日夜のNaverのプレスリリースによると、データベースを7,500万から1億4,000万へ増強しました。現在、Allthewebは1億600万、gooは5,050万ですので、1億を超えるのが2社と日本語も億単位の競争になってきました。ただ、このデータ数はニュースや画像などのデータベースを含めるか含めないかで異なりますので、そのまま比較することはできません。Naverは検索数指数で約3.3倍に増強しましたが、個々の調査キーでみますと、コミック 12.9倍、ヒント 6.1倍、文学 5.1倍が目立ちました。
.
検索数調査は15種類の調査キーを使っています。キーにより検索数は異なりますので、一番多いのを100に指数化します。日本語の索引化によっては特定のキーだけ多くなる場合がありますので、その場合には1位の検索数を減らして調整しています。今回、検索サイトのデータベース構成を調べました。まず、各検索サイトの1〜5位の上位キー、11〜15位の下位キーをピックアップしました。上位キーで多いキーは、イントラネット、時計、マーケット、野球、vrml、一方下位キーで少ないキーは、グルメ、生物、図書館、博物館、文学、で、これらを基準キーとします。
.
次に、各検索サイトが上記の基準キーをどれ位持っているか調べました。その結果は、良い順に、goo(5,4,0,0), Google(5,2,0,0), AltaVistaとAAACafe(4,4,1,0), Infoseek(4,3,0,0), Alltheweb(3,2,1,0), Fresheye(2,3,0,2), Lycos(1,3,1,1,), Naver(1,2,0,3), です。()内の数値は、それぞれ、検索サイトの上位キーに含まれる上位基準キーの数、下位キーに含まれる下位基準キーの数、下位に含まれる上位基準キーの数、上位に含まれる下位基準の数、です。
.
この結果、(1)検索評価のよいgooとGoogleのデータベース構成はともに上位基準を5個もちバランスがとれている、(2)検索評価のよくない老舗のAltaVistaやInfoseek、そしてAAACafeは同じく4個と次にバランスがとれています。(3)Alltheweb、Fresheye、Lycosは上位基準キーの数が少なくなり、基準キーが反対側に入るのが増えています、(4)増強したばかりのNaverはまだ調整中とみなせます。
.
海外 検索数調査で、WiseNutが14.4%増加しました。他は1%以下の微小な変化です。
.

 2002年9月15日
 Webページ構成の難しさ、自動型メタ検索の補足

日本 検索数の更新はLycosが27%減少しました。8月18日に75%増加していますので、8月4日からみると28%の増加です。8月4日から較べて、ヒント 350%増、文学 140%増、ドメイン 22%減、時計 21%減、などが目立ち、日本語索引化が変更したようです。検索力は1位 goo、僅差で2位 Google、3位 Lycos、4位 Fresheye、になり、これらの検索サイトが現在のトップグループを形成しています。
.
検索サイトはコンテンツ別の検索が可能です。gooは8種類(サイト、ページ、辞書4、ニュース、企業)、Googleは4種類(ウェブ、イメージ、グループ、ディレクトリ)、Lycosは8種類(全て、ディレクトリ、ページ、ニュース、ショッピング、コミュニティ、辞書、百科辞典)、Fresheyeは4種類(ウェブ、ニュース、オーディオ、ビデオ)、Yahoo!は6種類(カテゴリ、サイト、ページ、ニュース、辞書、ショッピング)などです。
.
上でいろいろなコンテンツを列挙しましたが、検索サイトのWeb構成の目安を示しているからです。例えば、ニュースの検索ができるところにはニュースは入ってなく、ニュース検索のないところはニュースが入っています。Web検索にニュース、掲示板、ショッピング、英語などがどの程度入っているかは利用者の検索の満足度に影響します。検索キーにより、ニュース記事が多かったり、掲示板が多かったり、ショッピング情報が多かったりしますが、そのとき探しているものにより検索結果が評価されます。
.
コンテンツの線引きも難しく、コンテンツを詳細に分けて提供するのが良いのか悪いのか、それにユーザーの習熟度や好みの変化など、検索サイトの情報収集はますます難しくなっています。
.
海外 検索数調査ではAOLが21%減、Yahoo!が46%減です。いずれもPowered by Googleです。検索数はOpenfindがトップです。
.
先週メタ検索のことを書いた補足ですが、自動型メタ検索に関しては、昨年の11月25日のこの欄で取り上げています。現在は検索エンジンのランキングに優劣が出てきてますので、数ヶ所から10個づつ集めてきた場合に、悪いランキングのデータが入ります。それにメタ検索の収集サイトにロボット型とディレクトリ型が同時に入っています。
.
インターネットエクスプローラの最新版の検索ボタンを押すとサイドバーが出てきます。スペースが大きいためいずれツールバーの替わりになることが予想されます。近々、このツールバーについて「検索の視点」を書く予定です。
.

 2002年9月8日
 Archiveの収集、MetaCrawlerがGoogleを利用

日本 検索数調査でトップのAllthewebが8.2%減少したため、他の検索数指数は相対的に増加し、検索力の評価にも影響しました。gooとLycosは同率でしたので検索評価のよいgooを1位にしました。また、僅差でGoogleが3位です。その他の更新は、AAACafe 16.4%増、TOCC 5.9%増、Fresheye 2.1%増、です。現在10検索サイト(英語 10社)を調べていますが、更新が大きく変化したのは4社(英語6社)、0.1%に満たないもの3社(2)、全然変化しなかったのが3社(2)です。この1ヶ月間で全数調査したのは平均4社で、英語は6社です。1年前には12社のうち平均6社を調査してましたので、更新頻度が少なくなってきたように思います。
.
検索数調査は調査キーを検索して得られる検索数を単純に調べているだけです。患者の体温、脈、血圧などを調べないで病気を診断する医者はいないと思います。検索エンジンにとって検索数は基礎データの一つです。たかが検索数という人がいますが、これを無視して検索エンジンの変化を語れないと思っています。また、検索結果の評価は最も妥当と思われる客観的なルールに基づきデータを収集し定量的に処理したものです。主観的なものが入っていないため、誰が行っても同じ結果になります。
.
Webのコンテンツは時とともに陳腐化し消えていきます。米国ではAlexaがWebアーカイブを提供していますが、先日、jpドメインだけのようですが国会図書館がWebコンテンツを収集・保存するとのこと、できるだけ早くスタートして欲しいものです。
.
海外 検索数は10社のうち6社が更新しました。Yahoo!が12%減少した以外は2%以内の変化でした。検索サイトで収集検索数を表示しているところが増えてきました。最新のデータは、Openfind 35億ページ、Google 25億ページ、Alltheweb 21億ページ、WiseNut 16億ページ、などです。1ヶ月前に紹介したGigablastは1ヶ月間で2,700万ページ増えて1.1億ページです。
.
複数の検索サイトを検索し、その結果を整理して出力する自動型メタ検索があります。米国では生き残りましたが、日本ではほとんど見かけなくなりました。それに対して検索デスクは一つ一つ検索する半自動型メタ検索です。このタイプは日本で見られますが、米国ではあまり見かけません。米国にないものを認めない人もいますし、ガードの固い検索サイトもあります。しかし、最近のブラウザは検索デスクと同じような検索ができるようになっています。従来、自動型メタ検索サイトはGoogleの検索結果を二次利用することができませんでしたが、先日のニュースでメタ検索のMetaCrawlerがGoogleを使用するとのこと、企業の方針が速いテンポで替わっていくことを感じました。それにしても日本の自動型メタ検索が育たなかったのは残念です。
.

 2002年9月1日
 半年間の日米の更新状況、米は倍増

日本 検索数の更新は、Alltheweb 32%増、Fresheye "100%"増、AAACafe! 22%増、です。検索評価は前回より大きく変化したLycos、Fresheye、Alltheweb、AAACafe!について行いました。次に更新状況から見た検索エンジンの動向をまとめました。
.
検索力トップのLycosの検索評価は92.0とAクラスです。更新は1ヶ月に1回ですが、これはカテゴリの自動作成に時間がかかるためと考えられます。3−5月(春)は6%減少しましたが、6-8月(夏)は71%増加しています。2位のgooの検索評価は100.0のトップです。春は6%増、夏は3%増、と最近のデータ増加は低調です。3位のGoogleの検索評価は95.5で2位です。春は5%減でしたが、夏は17%増で、毎週更新しています。4位のFresheyeの検索評価は92.5の3位です。前回トップでしたが、評価キーの電子政府、Sunday、ニュースの評価が悪くなっています。1週間で倍増したための一時的なものとみなせます。これらの1位から4位まではほとんど差はなく、5位以下を大きく離しています。
.
5位のNaverの検索評価は78.2、春は11%増、夏は増減なしです。更新スパンは長く、前回は5月26日、前々回は昨年10月14日、です。6位のAllthewebの検索評価は57.3で、春は324%増、夏は13%減です。この数週間、新しい日本語処理を採用したためかデータを大幅に入れ替えています。しかし、検索評価の劇的な改善は見られませんでした。7位のAAACafe!の検索評価は68.9で、6月23日にオープンしてから43%増加しています。8位のAltaVistaの検索評価は55.5、春は11%減でしたが夏は141%増です。9位のInfoseekの検索評価は41.5、春は11%減、夏は若干の増加です。わずかですが毎週更新を続けています。
.
なお、半年間の検索数増減は、Alltheweb 270%増、AltaVista 115%増、Lycos 81%増、Google 11%増、Naver 11%増、goo 9%増、Infoseek 10%減でした。
.
海外 検索数の増加はYahoo!が23%増加しています。Yahoo!の検索数指数は97.1でGoogleの5.4倍です。Yahoo!のページ検索結果の上位にめがねマークのついたものがちらほら見られるようになりました。Googleの検索結果をYahoo!流に切り替えて表示しているようです。
.
この半年間の検索数の増減を大きい順に記します。Alltheweb 242%増、AOL 225%増、Lycos 210%増、Teoma 114%増、HotBot 55%増、AltaVista 49%増、Google 14%増、WiseNut 0%、となり、平均で114%と倍増しました。
.

 2002年8月25日
 米Yahoo!2.5倍へ、米Yahoo!の検索エンジン更新

日本 今週も検索数調査だけ実施しました。先週、大幅に変更のあったAllthewebの検索ですが、調査キー「ドメイン」、「グルメ」、「コミック」の検索は正常に戻っています。しかし、新たに「イントラネット」の検索数が少なくなっています。結局、先々週から見てトータルで40%減になり、検索数指数は2位の79.6です。
.
Lycosに関しては今週の更新はありませんでした。Lycosの場合、「グルメ」と「コミック」の検索数は2位よりもそれぞれ2.6倍、4.1倍多くあります。それから「生物」と「文学」の検索数も多いようです。非常にポピュラーな文字が組み合わさった単語ですが、Googleも同じ傾向を示しています。これらの原因が収集先によるものか索引化法によるものかはわかりません。
.
海外 検索数は全般に減少するところが多かったのですが、Teoma 8.1%増、HotBot 5.3%増です。注目のYahoo!は149%増加して、約2.5倍になっています。AOLもYahoo!も共にPowered By Googleですが、検索数指数ではGoogle 17.7、AOL 56.4、Yahoo! 79.3、でGoogleに対する割合は、AOL 3.2倍、Yahoo! 4.5倍です。AOLやYahoo!の検索結果をGoogleのと比べると、ところどころで順位が替わるだけで、数百万ページの上位の検索内容は全く同じとみなせます。
.
Yahoo!は検索エンジンの開発にタッチせずにディレクトリとポータルに傾注して現在の地位を築きました。ページ検索は提携で補強しています。1995年9月にOpenText、1996年6月にAltaVista、1998年5月にInktomi、そして2000年6月にGoogle、と2年ごとに契約を見直し、更新時に一番強力な検索エンジンと提携しています。Googleとの更新はこの9月で、提携の行方がどうなるかに関心がもたれています。
.
現在、一番強力な検索エンジンはGoogleです。それに対抗できるものがあるかどうかがポイントです。Googleキラーと言われた検索エンジンのTeomaは2001年9月にAskJeevesに、WiseNutは2002年3月にLooksmartに買収されています。その他、ボリュームを誇るFastがありますが、米Lycosと提携しています。この数ヶ月間に大きな動きを示した検索エンジンが候補の一つかも知れません。この提携問題は、Googleとの提携を継続する、他と提携する、の二者択一ですが、さらにGoogleとの提携を強化する、の三者択一とみなしています。
.

 2002年8月18日
 LycosとAllthewebの索引化変更、PAXNet終了

日本 検索数の調査で、AllthewebとLycosに大きな変化が見られました。検索数でトップのAllthewebは、調査結果をそのままに解釈すれば56.7%減少しました。調査キーの「ドメイン」は1000分の1、「グルメ」と「コミック」は500分の1、と極端に減少し、「ヒント」「生物」「病気」「マーケット」が25%減と続きます。しかし、指数で2位をキープしています。
.
一方のLycosは75%増加しました。しかし、その増加はAllthewebと同様にバラツキがみられます。「コミック」300%増、「生物」216%増、「文学」215%増、「野球」120%増、ですが、「イントラネット」「ヒント」「図書館」「博物館」「病気」は数%の増減しかありません。これで検索数指数で2位から1位になり、総合の検索力で僅差で4位からトップです。
.
AllthewebとLycosは日本語索引システムを大幅に変更し、まだ処理途中とみなせます。いずれも米国で開発された新しい多言語検索エンジンですが、日本語進出にあたって採用した日本語処理の改善をはかったものです。システムが安定するまでもう少し時間がかかりそうです。その他の検索数では、AAACafe! 17.7%増、AltaVista 9.0%増、の更新がみられました。
.
海外 英語検索サイトの検索数調査では、HotBotが60.1%増加しています。この場合は、調査キー15のうち12が39%増から66%増に入っています。これは索引方法に変化はなく、ボリュームをアップしたものとみなせます。日本語で56.7%減少したAllthewebは1.8%減、75.2%増加したWiseNutはほとんど変化してなく、多言語検索システムでも言語別に処理していることがわかります。
.
最近始めたサイトランキングで536位のPAXNetが8月30日にサービスを終了するとのことです。投資情報をあつかうコンテンツは定評があり、せっかく育てたサイトが終了するのは残念です。収入源の広告、コンテンツ販売などが振るわなかったのか、費用源のコンテンツ制作費や維持費が高かったのかですが、この問題はWebコンテンツが無料である限り解決しないのかも知れません。
.
サイトのランキングをみると官庁などが有用なコンテンツを発信するようになってきたことがわかります。官庁のコンテンツが税金でつくられてるから無料が当然と思っていたら、何か大切なものを失うかも知れませんね。
.

 2002年8月4日
 アドワード・セレクト広告、Gigablast新登場

日本 検索数の更新は、Google 6.1%増、Alltheweb 0.9%増、Fresheye 0.1%減、で、低調でした。したがって検索評価は行わず、総合の検索力順位は先週と同じです。
.
Googleがトップページで「あなたのサイトをGoogleでアピール」とアドワード・セレクト広告を開始しました。先行のOvertureよりも複雑で、より合理的なシステムです。これは検索キーワードとマッチしたときに、検索結果の右側に表示するテキスト広告です。テキストはタイトル12文字、本文17文字×2行、そしてURLとフォーマットが決まっており、バナー広告よりも容量は少なく、簡単に作成できます。料金はクリック数をもとにしており、表示順序は広告主が決めるクリック単価に利用者が決めるクリック率を乗じたものの大きい順に表示します。クリック単価だけできめるよりはGoogleの収入は増えます。その他、広告費に上限を設けるなど、少額の広告主も参加しやすい広告システムです。
.
ページ検索サイトは大量の広告スペースをもっており、広告業者に委託して広告を載せていました。今回のGoogleは中間マージンを排して直接広告主から注文を受けるのと、小口の広告主も参加できることで評価できます。小口の掲載サイトを集めたり、小口の販売店をおいたり、銀行のネット振込みなど、小さなものも何百万と集めれば大きな流れになります。
.
海外 検索数の更新は、Openfind 4.8%増、Google 3.9%増、などです。
.
次々と新しい検索エンジンが登場しています。英語版のOpenfindはベータ版がオープンし、検索数指数はトップです。新たにGigablastという検索エンジンが登場しました。そのAboutに、2000億ページ収集可能とあり、現在8,600万ページです。現在トップのOpenfindは30億ページですから、それを抜くには29億不足しています。先週から1週間の増加は約500万でしたから、この調子で収集したら10年以上かかってしまいます。20倍の週1億ページ収集しても半年以上かかります。データは蓄積するだけですまず、データが増えれば重複を除く処理、また時間が経てばNot Foundページを除く処理、などが必要になってきます。情報が増えてますます便利になる検索エンジンですが、その裏では過酷な状態が続いています。
.

 2002年7月28日
 Formのコード指定、Sponsor Linksの急成長

日本 22日にFresheyeは検索エンジンをTOCCに切り替えました。先週の検索数は2.8、今週は40.5ですから、約15倍になっています。従来の速報型検索エンジンはニュース速報などで使われ、8月にはディレクトリ検索サービスも開始するとのことです。その他の更新はGoogleが2.7%増加した以外に変化はありませんでした。
.
6月末からの検索数が大きく変化したgoo、Google、Alltheweb、そしてFresheyeについて検索結果の評価を行いました。その結果は、Fresheye、goo、Google、Lycosの順です。TOCCのベータ版は正式版になっています。FresheyeとTOCCの検索総数は異なっていますが、検索評価はほとんど同じです。Googleの場合はGoogleと提携してるExcite、Biglobe、@niftyの検索ボタンを外しましたが、TOCCの場合は逆にFresheyeを残してTOCCを外しました。
.
AltaVistaの検索フォームが変更しています。各自のパソコンでコード設定をしないとユニコードとみなされ、文字化けして検索できません。一度検索して文字化けしている検索結果の画面をだし、その右上部にあるSettingsを開きます。そこを設定するのですが、例えば、20 results per page、LanguageはJapanese 日本語、Language TroubleshootingはJapanese(Shift_JIS)に設定します。複数の日本語コードが存在することが検索時の混乱の原因でした。Googleもユニコード対応になっており、ときどきShift_JISとぶつかることがあります。GoogleのFormは入力用と出力用のコードが指定できるようになりました。検索フォームへ入出力用コードを追加することは本来の正しい形ですので、多くの検索エンジンが採用してほしいものです。
.
海外 Googleを採用したAOLの検索数は約3倍になっています。その他の更新は少ない週でした。Googleの検索数は19.3、Googleの検索を使うAOLの検索数は58.8、同じくYahoo!の検索数は33.2です。AOLやYahoo!がGoogleよりもなぜ大きいのかその理由はわかりません。
.
米国では競争が激しいのでコンテンツを持つところと提携します。検索エンジンを開発してるところはディレクトリを持ってるところと提携し、その逆にディレクトリは検索エンジンと提携します。この提携は永久に続くのではなく、通常2年間の契約です。提携する企業は現在一番よいところと提携しますので提携先はよく変わります。
.
現在よく変化するのがSponsor Linksとの提携です。検索結果のコンテンツは、(1)ページ、(2)サイト、(3)ディレクトリやニュース、に加えて(4)Sponsor Links、に分類できます。検索結果を直接有料化できない検索サイトにとって、Sponsor Linksは急成長分野であり重要な柱になっています。
.

 2002年7月21日
 Webサービスの進化、広告の明示

日本 Alltheweb 8.9%増、Google 0.4%増、TOCC 2.0%減で、あまり変化のない週でした。検索力は6位と7位が入れ替わっています。英語版がオープンした中国製のOpenfindは多言語型検索エンジンです。日本語検索サービスの出現が待たれます。
.
新しいWebサービスが登場しました。Googleが4月にSOAPを使ったAPIを公開しましたが、同様なことを17日にAllthewebの検索結果をユーザーの好みに応じて取り出せる技術を公開しました。さらに、Amazon.comはデータベースの利用技術を開放し、利用者が自由に取り出して使えるサービスを始めました。このようなオープン化が進行する一方で、ディープ・リンクというクローズド化が問題になるのは残念です。
.
海外 検索数の更新の主なものはGoogle 10.0%増、Lycos 4.8%増です。オープンしたOpenfindの評価には数ヶ月かかりますが、日本語の検索評価と同様に英語版の検索評価ができれば早く評価できるようになります。
.
17日のinternet.comに「全ての広告にデジタルID」の記事があります。これはあらゆる媒体の広告に12桁の独自コードをを割り当て、それに関する情報を広告主、代理店、メディア、サプライヤーに公開するものです。広告の一つ一つにコードを割り当てるのは困難を伴いますが、これが実現すれば新しい世界が出現します。
.
少し古くなりますが、7月2日に米連邦取引委員会(FTC)が広告の検索結果に広告の明示を勧告しました。検索結果に広告が入るとランキングが悪くなる恐れがあり、利用者に不利になりますので、検索結果と広告を分離するのは当然です。まだ明示の標準的方法がありませんが、ちなみに現在の表示を示しますと、LycosはSPONSORED SEARCH LISTINGS 、AltaVistaはSponsored Matches、WiseNutはSponsored Listing、HotBotはSPONSORED SEARCH LISTINGSやSEARCH PARTNERS、TeomaはSponsored Results、OvertureはSPONSORED SEARCH LISTINGS、などです。語数の短い言葉で統一できればと思います。なお、日本語の場合はほとんど広告表示がありません。検索結果に埋めこまれたのか、広告自体がないのかは、不明です。
.
この広告の明示は利用者が目にするものですが、HTML文を分解する検索エンジンにとっては一般のリンクと広告リンクとを区別することの方がもっと重要です。これに関して問題になってないことの方がむしろ問題のように思えます。この点からも広告のコード化は広告の識別に役立つのではと期待できます。
.

 2002年7月14日
 ディープリンク、Openfindの登場

日本 6日から12日まで、息子の挙式でハワイへ旅行しましたので先週の調査はお休みしました。6月末から2週間経ちましたが、9社のうち更新したのは4社です。Googleが5.4%減少していますが、他の変化は見られませんでしたので、検索評価は行ないませんでした。検索力による順位の変動は6位と7位が僅差で逆転しました。
.
今週初めにデンマークの裁判所が新聞協会へのディープリンクを禁止する判決を下しました。この判決でデンマークの新聞協会はネット上でさらに発展するのか発展のスピードが落ちるのか、時間が経たないとわかりません。ネットが発展したのはHTMLのコンテンツが作りやすかったのとハイパーリンクがあったためです。ハイパーリンクのよいところはコンテンツに直接ジャンプすることができる点にあります。もし、トップページしかジャンプできないとしたら、現在の数十倍の時間をかけても情報にたどり着けるかどうかわかりません。会社や個人にとって時間は有限であり、コストのかかるものです。利用者の利便性を欠いたサイトはいずれ利用されなくなります。
.
海外 新検索エンジンOpenfindがオープンしました。検索数調査はトップです。1位 Openfind 100、2位 Alltheweb 82、3位 Lycos 79、と従来トップのAllthewebよりも検索数で22%多くなっています。したがって、他の検索サイトの検索数指数は低下しました。4位以下はトップの3分の1以下になるという異常な状況になっています。
.
Openfindは35億ページ収集しており、ベータ版とのことです。台湾をベースにしており、まだ英語、中国語しか利用できません。いずれ日本語を含めた多言語検索サービスを開始します。検索スピードは超高速です。現在の検索エンジンの主流はリンクを使って検索結果のランキングを向上させています。Openfindもリンクを使っていますが、リンクの使い方はいろいろあり、どのようなタイプのものを利用しているかわかりません。
.
現在のロボット検索エンジンの問題点として「指定したキーワードを含まないページも上位に表示される」とあり、Openfindはこの問題点を解消したとあります。この問題点はGoogleの検索システムを指していますが、これは欠点ではなく、検索システムが一段階進歩したものとみなしていますので、逆にリンクの使い方が推定できるかも知れません。
.
1ヶ月前に発表したAllthewebの収集ページ数は21億でしたが、現在は10%減の19億位です。OpenfindとAllthewebの検索数指数は100対82ですので、これよりOpenfindは23億となります。公表数値は35億ですので、3分の2位しかありません。目標が35億なのか、3分の2しか索引化してないのか、あるいはGoogleのように未収集のタイトルとそのURLをふくめているのか、はっきりしません。
.
.

◆リンク

◆検索力調査

◆2002年7-12月

2002年のデータは、日本語1.9倍、英語2.0倍 12/27
楽天Lycosを傘下に、HotBotの大変身 12/21
gooの新鮮情報検索エンジン、商品検索Froogle 12/14
CNetニュース終了、GoogleのSEOガイド 11/29
Yahoo!がオーバーチュアとGoogleと提携 11/22
Naverの検索数増減、AltaVistaの更新 11/15
ブラウザ別シェア、米Google 30億Webページへ 11/08
ディレクトリの変遷、Teoma更新 11/01
米Googleへの訴訟、利用者志向のWeb制作 10/27
今週はお休みします 10/20
検索デスクバー、米Yahoo!新検索エンジン登場 10/13
英語キーの検索、速報重視のニュース検索 10/06
Google検索評価で1位、米Yahoo!の検索結果 09/29
Naver1億4,000万へ、データベース構成の調査 09/22
Webページ構成の難しさ、自動型メタ検索の補足 09/15
Archiveの収集、MetaCrawlerがGoogleを利用 09/08
半年間の日米の更新状況、米は倍増 09/01
米Yahoo!2.5倍へ、米Yahoo!の検索エンジン更新 08/25
LycosとAllthewebの索引化変更、PAXNet終了 08/18
アドワード・セレクト広告、Gigablast新登場 08/04
Formのコード指定、Sponsor Linksの急成長 07/28
Webサービスの進化、広告の明示 07/21
ディープリンク、Openfindの登場 07/14