クローラについてメモ

先生からRubyでクローラつくってみない的な振りを頂いた?のでちょこっとメモ。

クローラとは e-Words
とりあえずクローラってなんなのかなぁとか改めて。
一番に思い浮かぶのはgoogleみたいな検索エンジンのクローラですかね。
Webページをずーっと探してって、定期的に記録しておく。
検索したときにその記録を見て表示する。
間違ってるかもしれないけど大雑把にこんな認識ですね。

あと、ちょこっと気になったのはMETAタグでクローラに記録しないでねってお願いする?w
書き方があるのは知っているものの、それを無視できる(あるいは無視する?)クローラがある、
またその作り方があるってのを初めて知った。
そもそもクローラの動作として、METAタグを見て記録するかしないかっていう動作を
つくるか作らないかとかうい問題なんやろうか…。

エイバースの中の人-検索エンジンの作り方
前半のあたりでクローラについて書かれていた。
自分でパッと考えてあまり検討がつかなかったので、
番号リストのところで大雑把なクローラの動作がわかるかなぁと。

クローラ作成
Rubyでクローラに関係するライブラリ?を使ってのクローラの記事の様子。
説明があまり書かれていないので、ライブラリとコードの参考にさせてもらおうかなぁと。

最初っからちゃんとした動作なんて望まないので、
とりあえずは、てきとーにサイトを巡回して、指定したキーワード1つを見つけたら、
そのサイトを記録していく。っていう動作をまず作ればいいのかな…。
今のところどうすればいいのかさっぱりなので、例のごとく調べながらで。

クローラってサーバで動かすもの…なんよね…きっと…(･ω･｀)
研究室の壊してもいいってサーバ使わせてもらうかなぁ
とりあえずRubyのライブラリ使えるのあるか調べて、ライブラリがRuby1.9対応してる様子なら、
サーバにRuby1.9入れるのもやってみようかな。
あとGemも入ってないようなので入れないとやなぁ。