スキップしてメイン コンテンツに移動

[Python][Redis]Redisに保持する為替レートと株価のデータ設計

KVSであるRedisに保持するデータ設計のメモ。

大きく分けて以下の2種類Key-Valueを使う。
  1. 時刻または日付を保持するList型Key-Value
  2. 1.の時刻または日付をKeyとして各銘柄の価格を保持するHash型Key-Value

時系列データ保存時にはListに時刻をLPUSHし、LPUSHした時刻をKeyとしたHashのHashKey=銘柄名（TICKER等）とHashValue=価格をHMSETで保存する。

※訂正:下部吹き出し”List型”とありますが、正しくは”Hash型”です。

RedisのList型ではLRANGEというコマンドがあり、開始と終了のINDEX（左から0,1,2...n）を指定してやれば直近何個分という取り方が容易になる。上記「TIME_IDX」を全件取得する場合にはINDEXを0～-1という指定してやれば全件取得できる。

なお処理時間は以下の通り。
この設計だと「時系列データの件数+1回」のgetが走ることになるので今後データが増えた場合にどうなるか監視する必要がありそう。

  • LRANGE(全件=約35,000件)：0.5-0.8s/req
  • HGETALL：0.0004-0.0010/req

以上。

コメント

コメントを投稿

このブログの人気の投稿

[Python]redis-pyでRedis Pub/Sub実装

前から面白そうと思っていたRedisのPub/Sub機能。 redis-pyでどう実装すれば使えるか確認してみた。 ■Pub/Subについて http://ja.wikipedia.org/wiki/出版-購読型モデル ■pub.py from redis import StrictRedis def publish(channel,msg): """ redis-pyにはPUBLISHするためのメソッドがないので、 Redisのコマンドをそのまま実行する為のクラスを使う。 """ sr=StrictRedis() """ 第1引数にRedisのコマンド、第2引数以降は そのコマンドの引数をそのままセット """ sr.execute_command("PUBLISH",channel,msg) if __name__=="__main__": # チャネル"hoge"に"Hello"というメッセージを出版（Publish） publish("hoge","Hello") ■sub.py from redis import Redis def listen(channel): r=Redis() ps=r.pubsub() ps.subscribe(channel) while True: for i in ps.listen(): print i["data"] if __name__=="__main__": # チャネル"hoge"を購読（Subscribe） listen("hoge") ■実行方法・実行結果 （ターミナル1-準備） [user@localhost ~]# python sub.py 1 # => チャネ
コメントを投稿
続きを読む

[OS]VirtualBoxでCentOS6.5(x86_64)がKernel panicを起こした

完全に対処療法。 恥ずかしながら自分では原因がわかっていない。 忘れないようにメモしておく。 いろいろ設定したあと、何度目かの再起動のタイミングでKernel panicが発生して起動しないという事象が発生。 こちらの方法でなんとか起動させて。 [CentOS] SELinux 無効化後のカーネルパニック http://kuni255.blogspot.jp/2013/04/centos-selinux.html こちらの通り、/boot/grub/grub.confに設定を追加。 Kernel panic – not syncing: Attempted to kill init! http://h2np.net/mynotebook/post/130 設定変更後、以下の操作をそれぞれ10回ほど試した限りでは再発していません。 　(1)halt＋起動 (2)reboot 追記：と思ったらまた発生した。なんかもう解決できる気がしない。
コメントを投稿
続きを読む

[Python]システムトレード環境

最近、システムトレードをしている。 日本株は、自動売買までは実現できていないが、トレンド分析くらいはできるようになっている。 とりあえず、現時点の環境を整理しておきたい。 ■日本株 H/W：さくらVPS（2GBだったかな？） OS：CentOS6.4（x86_64） 言語：Python DB：SQLite3 データソース： http://www.data-get.com/main/ （有料） データ種別：株価データ、銘柄情報データ、分割併合データ ■FX H/W：DELL T100（6年前のもの）+CPU4コアに換装済+メモリ8GB化済 OS：Windows 7 64bit プラットフォーム：MetatTrader 4 言語：MQL4 取引業者：Alpari Japan ■クライアント H/W：MacBook Pro 13インチ（2010-Mid） 特に不満はないけど、さくらVPSが高い。 自宅のT100は古いけど重い処理をさせるわけじゃない。 そのうちさくらVPSから自宅PCのVirtualBoxかなんかの仮想環境に引っ越す可能性もある。 こんなところ。
コメントを投稿
続きを読む