[Python][Redis]Redisに保持する為替レートと株価のデータ設計

KVSであるRedisに保持するデータ設計のメモ。

大きく分けて以下の2種類Key-Valueを使う。

時刻または日付を保持するList型Key-Value
1.の時刻または日付をKeyとして各銘柄の価格を保持するHash型Key-Value

時系列データ保存時にはListに時刻をLPUSHし、LPUSHした時刻をKeyとしたHashのHashKey=銘柄名（TICKER等）とHashValue=価格をHMSETで保存する。

※訂正:下部吹き出し”List型”とありますが、正しくは”Hash型”です。

RedisのList型ではLRANGEというコマンドがあり、開始と終了のINDEX（左から0,1,2...n）を指定してやれば直近何個分という取り方が容易になる。上記「TIME_IDX」を全件取得する場合にはINDEXを0～-1という指定してやれば全件取得できる。

なお処理時間は以下の通り。
この設計だと「時系列データの件数+1回」のgetが走ることになるので今後データが増えた場合にどうなるか監視する必要がありそう。

LRANGE(全件=約35,000件)：0.5-0.8s/req
HGETALL：0.0004-0.0010/req

以上。

このブログの人気の投稿

[Mac]Time Machineのバックアップ先をWindows共有フォルダに設定する

こんばんは。もっくんです。 2台あったWindowsのデスクトップを1台にまとめるついでに、ずっと放置していたMacのバックアップ環境を構築してみました。Finderでコピペするだけでいいんですが、どうせなら「Mac全体を自動的にバックアップします。」という謳い文句のTime Machineを使いたい。 Apple純正のTime CapsuleやUSBの外付けHDDという手もあったんですが、ノートの機動性を落としたくなかったし、なによりタダでできそうなWindows共有フォルダにネットワーク越しにバックアップする方法を取ることにしました。実際の流れは下記のようになります。ネットワーク共有フォルダを作成する空のディスクイメージを作成するネットワーク共有フォルダにディスクイメージをコピーするネットワーク共有フォルダのディスクイメージをマウントするマウントしたディスクイメージをTime Machineのバックアップ先に指定する 1．ネットワーク共有フォルダを作成するこの手順はそこまで面倒ではないので、簡単な手順だけ。 Windows全体の設定でファイル共有を有効にする（Windowsで作業） Macと共有（Macから見えるように）したいフォルダを作成する（Windowsで作業）共有したいフォルダに共有設定をする（Windowsで作業）共有フォルダに接続（Macで作業）詳細はこちらの記事が画像付きでわかりやすい。 http://blog.goo.ne.jp/beosound/e/7d6d0d0a8f76035f880001eda06c4247 2．空のディスクイメージを作成するいわばこのディスクイメージがバックアップ先のHDDの代わりとなる。アプリケーション＞ユーティリティ＞ディスクユーティリティを起動画面上部のファイル＞新規＞空のディスクイメージをクリック設定画面の各欄は以下のように設定名前： TimeMachineVolume（なんでもよい）保存先：デスクトップ（ローカルのわかりやすい場所）ボリューム名： TimeMachineVolume（なんでもよい）ボリュームサイズ：カスタム

[Python]個別銘柄の時系列データをGoogle Financeから取得するプログラム

今日書いたのはこれ。 Google Finance から証券コードを指定して日別の価格情報を取得するプログラムです。米国市場に上場している銘柄であればCSVでダウンロードでますが、日本の銘柄はできなかったので作りました。多くの人はYahoo!Japanから取得しているようなので、あえてGoogle Financeから取得してみました。ちなみに使えるのは東証に上場している銘柄のみです。（おそらく）このプログラムと日経225構成銘柄一覧取得プログラムを組み合わせれば、日経225構成銘柄の時系列データが取得できてしまいます。 #!/usr/local/bin/python # -*- coding:utf-8 -*- from BeautifulSoup import BeautifulSoup import urllib2,re,datetime,sys class googleFinance2CSV(object): def __init__(self,ticker): ''' 引数で渡されたticker（=証券コード）の時系列データを Google Financeから取得してCSV形式で保持する CSVの列は'Date','Open','High','Low','Close','Volume' ''' self.ticker = ticker self.url = 'http://www.google.com/finance/historical?q=%s&num=200' % str(self.ticker) self.csv = str() soup = BeautifulSoup(urllib2.urlopen(self.url)) tablesoup = soup.find("table", {"class":"gf-table historical_price"}) for trsoup in tablesoup.findAll("tr&qu

[Python]redis-pyでRedis Pub/Sub実装

前から面白そうと思っていたRedisのPub/Sub機能。 redis-pyでどう実装すれば使えるか確認してみた。 ■Pub/Subについて http://ja.wikipedia.org/wiki/出版-購読型モデル ■pub.py from redis import StrictRedis def publish(channel,msg): """ redis-pyにはPUBLISHするためのメソッドがないので、 Redisのコマンドをそのまま実行する為のクラスを使う。 """ sr=StrictRedis() """ 第1引数にRedisのコマンド、第2引数以降はそのコマンドの引数をそのままセット """ sr.execute_command("PUBLISH",channel,msg) if __name__=="__main__": # チャネル"hoge"に"Hello"というメッセージを出版（Publish） publish("hoge","Hello") ■sub.py from redis import Redis def listen(channel): r=Redis() ps=r.pubsub() ps.subscribe(channel) while True: for i in ps.listen(): print i["data"] if __name__=="__main__": # チャネル"hoge"を購読（Subscribe） listen("hoge") ■実行方法・実行結果（ターミナル1-準備） [user@localhost ~]# python sub.py 1 # => チャネ

もっくんのITメモ

このブログを検索