TOP

このエントリーをはてなブックマークに追加

twitterのスクレイピングbot



ホーム > 個人開発したことまとめ > twitterのスクレイピングbot


twitterのスクレイピングbot

ロマサガRSというソシャゲをやってて、新キャラが実装されるたびに絵師さんがこんなツイートしてたりする。

キャラクタは大量にいるし、いつ誰が公開するかもわからないので自動的に情報収集して検索できるようなもの作れないかな?
⇒そうだ!スクレイピングだ!(!?)


作ったもの(実際に稼働したときのツイート)

勝手に拾ってリツイート



勝手に自分のサイトに公開


勝手にひとつ前の作品を拾ってリツイート




どんな仕組み?

全体構成

botが勝手に情報収集して勝手にDB登録して勝手に公開してくれる、手間のかからない素敵システム。情報収集してDBに登録する部分はpythonで実装。webサイト部分はJava(jspとservlet)で実装。


ソースコード(python)


Java servlet


JSP