ロボットにとって、Web上のドキュメントのすべてを補足することが不可能であるなら、何らかの方法で「Web上の特に重要なドキュメントのグループ」を抽出し、それらを優先して収集するような仕組みを作ることは、とりあえずの解決策として有効なものです。つまり、繰り返しクロールし、最新の情報にアップデートし続けることができるドキュメントの量に制限があるなら、ユーザーにとってより有益と考えられるドキュメントに対して集中的にクローリングを行う、というわけです。

そして現在のところ、「受け取っているリンクの有無」というのは、よい指標になっているようです。つまり、他のページからリンクされているドキュメントをクロールし、どこからもリンクされていないドキュメントはクロールしない、といった優先収集を行うことで、Web上での特に重要なドキュメントのグループを補足することが可能になる、というわけです。ここでは、前提として「有用なドキュメントは参照される」という一般的な原理を優先収集の根拠として使っているのです。

おそらく今現在も、そのドキュメント自体がどこからもリンクされていないか、またはロボットにクロールされたことのないドキュメントからしかリンクされていない、といった、ロボットにクロールされる確率の非常に低いドキュメントは、爆発的な勢いで増え続けていることでしょう。もしかしたら、あなたが制作中のサイトや、運用中のブログもまた、そういった一連の「優先収集から外された」ドキュメント群の中のひとつかもしれません。

ネットワーク科学の世界に、優先的選択、という言葉があります。これは、より人気のある教授の講座にはより多くの受講生が集まり、より優秀な組織には構成員がより多く集まり、ベストセラーはより多く売れる、といった現象を起こします。つまり、学生がどの講座を選択するか決定する、というシーンでは、すべての教授のすべての講座の中からランダムに選択を行うのではなく、人気のある教授や人気のある講座は優先して選択されやすい、ということを表しています。同様に、暴走族から企業や政党に至るまで、組織に加入する際には、構成員になろうとする人は優秀な組織を優先的に選択します。また、本を買うときにはより多くの他者が薦めるものを優先的に選択するのです。

もう一度Webのドキュメントの話に戻りましょう。もしあなたが、1950年代のジャズをテーマにした趣味のWebサイトを持っているとしましょう。そのサイトに含まれるドキュメントから、そのサイトの外部のドキュメントにリンクする場合、あなたは優先的選択を行います。Web上のすべてのドキュメントからランダムに抽出したいくつかのドキュメントに対してリンクする、というようなことはせず、おそらく、同じようなテーマを扱う既存のサイト群の中から、より人気の高い（つまりすでにたくさんのリンクを受けている）いくつかのサイトを選んでリンクするのではないでしょうか。

そうした優先的選択の結果、Web上においても、より人気のある教授の講座にはより多くの受講生が集まり、より優秀な組織にはより多くの構成員が集まり、ベストセラーにはより多くの読者があつまる、といったことと同様の現象が起きます。すでに多くリンクされているサイトはより多くのリンクをもらい、どこからもリンクされていないサイトは、いつまでたってもどこからもリンクされないままです。これは、金持ちはより金持ちにななり、貧乏人はいつまでたっても貧乏人のまま、という社会の真理と同様のものです。

優先的選択によって金持ちはより金持ちになる、ということは、事実の一面を表してはいますが、しかし、これがすべてではありません。もし優先的選択がすべてであって、すでに人気のあるものにより人気が集まるだけだったとしたら、古株であればあるほど有利となり、新参者にはチャンスがまったくない、ということになってしまいます。確かにそれは多くの例に当てはまりはしますが、しかし、現実は必ずしもそうとは限りません。非常に稀な例ですが、貧乏だった人が一代で財産を築くこともあれば、立ち上がったばかりのサイトがほどなく人気サイトになることもあります。

ここからは、優先的選択を受けるために必要なこと、つまり新参のサイトが人気サイトに成長するための方法について述べていきますが、話がややこしくなるのを防ぐために、金持ちや人気教授の例は省き、「WebサイトまたはWebページ」に限定して説明していきます。ここで鍵になるのは「適合性」という考え方です。

適合性とは何か、ということですが、これは「優先的選択を受けやすくする性質」であると考えてください。優先的選択を受けやすくする性質のうち、もっとも強力なことは、いうまでもなく、すでにたくさんの優先的選択（この場合はリンク）を受けている、ということです。しかし、それほど強力ではないにしても、優先的選択を受けやすくするための下準備のようなことは可能です。

見つけやすい

これはロボットからもユーザーからも見つけやすい状態を作り出す、ということで、具体的な例としては「大手ディレクトリへの登録」があります。大手ディレクトリに掲載されれば、少なくともロボットがあなたのサイトを発見することについては飛躍的に容易になります。またその結果、ユーザーがディレクトリやサーチを使用してあなたのサイトを見つける確率も上がるでしょう。

熱中しやすい

これは新しく訪問してきたユーザーを繋ぎ止めやすい状態を作り出す、ということです。頻繁にアップデートされ、訪問者を飽きさせない、ということであったり、ゲームのような滞在時間の長いコンテンツが充実していたり、掲示板やチャットなどの再訪問率の高いコンテンツがある、といったようなものを指します。ここでユーザーを繋ぎ止めることに成功すれば、いずれ多くのリンクを受けることになるでしょう。

リンクしやすい

これは競合する他のサイトよりも、あなたのサイトにリンクすることが容易である、ということです。具体的な例としては、バナーなどのリンクキットが用意されていたり、相互リンクのためのフォームが用意されていたり、といったことや、またはサイト内の個々のページがテーマごとに整理され、資料的参照を行いやすいような構成になっている場合もこれにあたります。後者の例としては、一ページで一語を扱うような用語解説集や、一ページで一商品を扱うような商品説明ページなどがこれにあたります。

リンクしたくなる

便利なツール、有益な資料、面白い読み物、ユーモアあふれる写真や動画、といった優れたコンテンツは、リンクしたい、紹介したい、という欲求をかき立てます。そのリンクしたい、紹介したい、という気持ちを競合する他のサイトよりも強く起こさせるようなコンテンツを準備しておけば、自然にリンクは集まります。

上記のことは、新参のサイトが優先的選択を受けてメジャーになるための方法を示したものですが、いずれもWebサイトだけに限定されたものではないことに気付かれた方も多いと思います。例えば、人が人気者になる場合で言えば、それぞれを以下のように読み替えるとよいでしょう。「見つけやすい」というのは、人の場合なら「初対面の人に会える場所やイベントに顔を出す」ということであり、「熱中しやすい」というのは「接触時間や接触頻度を高める」ということであり、「リンクしやすい」というのは「紹介しやすいプロフィールをまとめておく」ということであり、「リンクしたくなる」というのは、「他者に紹介したくなるようなユニークな魅力を持つ」ということです。同じように、お店を繁盛店にしたい場合や、メーカーがヒット商品を生み出したい場合や、慈善団体がキャンペーンを成功させたい場合などにも応用可能なことです。

この考え方がこのように高い応用性を持っている理由は、実はこの考え方が「ネットワーク科学」という科学の一分野（特に社会科学の分野で発展しています）の考え方を応用したものだからです。この分野には良書が多いのですが、僕が上記のような考えをまとめるにあたって最も参考になった書籍を一冊だけ紹介しておきます。「新ネットワーク思考—世界のしくみを読み解く」（アルバート＝ラズロ・バラバシ著）です。この本を一読すれば、より一層理解が深まるものと確信しています。