Spidering Hacks ―ウェブ情報ラクラク取得テクニック101選 - O'Reilly
最近オライリーさんこの Hacks シリーズの訳本好きみたいですね。
まんまと買わされてしまいましたよ。
他の Hacks に比べて分厚いですけどスパイダーなお話は面白いですよね。
クローラーとか本気で作るってのじゃなくっても、
個人的にニュースRSS集めるスクリプト作ったなんて人も
その筋のルールってのがあるから
他人のサイトから自動でページキャッシュとってるって人は
この本のあたまの第1章だけは読んどいたほうがいいですね。
最近CPANからLWPひっぱってきていじってるけど便利ですよね。
Hack17に紹介あるけどrobots.txtを尊重する仕組みとかあるのね。