ロボット型検索エンジンは、人手によるディレクトリ型検索エンジンの限界を突破するために登場しました。代表的なものにGoogle、Altavista、Excite、MSN、Infoseek、Goo、Inktomiなどがあります。
ロボット型検索エンジンの仕組みは、クローラーロボットと呼ばれるプログラムがWeb上のリンクをたどって自動的に情報を収集することです。リンクを発見したらそのリンク先のサイトを登録し、そこからリンクされている別のページも登録するという作業を繰り返します。
ロボット型検索エンジンのメリットは、Webページ単位での登録により、ユーザーが探している情報が載っているページが直接検索にかかることです。また、定期的に新しい情報が収集されるため、最新の情報が登録されます。さらに、大量の情報がデータベースに登録されるため、情報量が圧倒的に多いことも魅力です。
一方、デメリットとしては、情報が多すぎて見なくてもいいページも検索上位に表示されることがあります。また、スパム行為による不適切な情報が載ることもありました。例えば、アダルトサイトなのに「トヨタ」という言葉を含めることで、無関係な検索でも上位に表示されるようなことが起こっていました。
結果として、Googleを除く多くのロボット型検索エンジンは、スパム行為によって荒らされ、情報が混沌とした状態になってしまいました。これらの大きなデメリットを抱えながらも、ロボット型検索エンジンは、ディレクトリ型検索エンジンの限界を超える可能性を秘めていたのです。
