2006/09/25

WiLiKiのコンテンツをごそっと取って行くスパイダーが増えてきた。 WiLiKiは、特に使用頻度がそれほど高くないと思われるような操作はかなり 富豪的に書いてある。例えばページの過去のバージョンは、全ての編集操作の差分が シーケンシャルに記録されたファイルからそのページの編集差分を拾い出して、 最新版から順に適用することで求めてる。昔のバージョンを見ることは滅多に無い という仮定のもとにそういうふうに作ったのだが、スパイダーはそんなことは お構い無しに、全てのバージョンを持ってゆこうとする。

何が問題かって、サーバ負荷はそれほどでも無いんだけれど、read lockが ほとんどかかりっぱなしになるため、write lockが獲得出来ないエラーが頻発するのだ。

robots.txtでwiliki以下の検索を弾いていたこともあったけど、 検索にはやっぱりひっかかって欲しいんだよなあ。今でもいちおう 編集履歴のページには<meta name="robots" content="noindex,nofollow" /> を入れてるけど効いてないようだし。 何かいい方法はないものかのう。

Tag: WiLiKi