スキップしてメイン コンテンツに移動

[Python][Google App Engine]データストアへのアクセスを減らす方法

データストアへのアクセスを減らすためにやっていること。

■保存する方法
データストアへの保存を避けることはできないので、取り出すときに備えて取り出しやすいようにした。具体的には以下。
  • データストアのエンティティには必ずkey_nameを指定する
  • memcacheにデータストアのkey_nameと同じkeyでデータを保存する
  • memcacheにkey_name+'_KEY'で保存したエンティティのkeyオブジェクトを保存する

■取得する方法
保存時にやったキャッシュをできるだけ使う。これでアプリケーションのレスポンスとCPUリソース消費の削減につながる。
  • 取得対象となるデータのkey_nameをPythonのロジックで生成する
  • memcache.get()の引数に生成したkey_nameを指定してデータを取得する
  • memcache.get()の引数に生成したkey_name+'_KEY'を指定してデータストアのkeyオブジェクトを取得し、Model.get()の引数に指定してデータを取得する
  • Model.get_by_key_name()の引数に生成したkey_nameを指定してデータを取得する
当初はQueryクラスを使ってデータを取得しようとしたが、indexを利用したとしても件数が増えるとそれだけ遅くなるので、直接エンティティのkey_nameでアクセスするように変更した。

ただ、memcache.get()+Model.get(keyオブジェクト)とModel.get_by_key_name()でどちらが軽いのかは調べていない。get(keyオブジェクト)はデータストアに直接アクセスするが、get_by_key_name()はkey_nameから実際のkeyオブジェクトを取得して、そのkeyオブジェクトを使ってデータストアにアクセスするようだ。

memcacheの揮発を回避するための対策なので、memcacheのQuotaが逼迫するようであればmemcache.get()+Model.get(keyオブジェクト)を削除する。

コメント

コメントを投稿

このブログの人気の投稿

[Python]redis-pyでRedis Pub/Sub実装

前から面白そうと思っていたRedisのPub/Sub機能。 redis-pyでどう実装すれば使えるか確認してみた。 ■Pub/Subについて http://ja.wikipedia.org/wiki/出版-購読型モデル ■pub.py from redis import StrictRedis def publish(channel,msg): """ redis-pyにはPUBLISHするためのメソッドがないので、 Redisのコマンドをそのまま実行する為のクラスを使う。 """ sr=StrictRedis() """ 第1引数にRedisのコマンド、第2引数以降は そのコマンドの引数をそのままセット """ sr.execute_command("PUBLISH",channel,msg) if __name__=="__main__": # チャネル"hoge"に"Hello"というメッセージを出版（Publish） publish("hoge","Hello") ■sub.py from redis import Redis def listen(channel): r=Redis() ps=r.pubsub() ps.subscribe(channel) while True: for i in ps.listen(): print i["data"] if __name__=="__main__": # チャネル"hoge"を購読（Subscribe） listen("hoge") ■実行方法・実行結果 （ターミナル1-準備） [user@localhost ~]# python sub.py 1 # => チャネ
コメントを投稿
続きを読む

[OS]VirtualBoxでCentOS6.5(x86_64)がKernel panicを起こした

完全に対処療法。 恥ずかしながら自分では原因がわかっていない。 忘れないようにメモしておく。 いろいろ設定したあと、何度目かの再起動のタイミングでKernel panicが発生して起動しないという事象が発生。 こちらの方法でなんとか起動させて。 [CentOS] SELinux 無効化後のカーネルパニック http://kuni255.blogspot.jp/2013/04/centos-selinux.html こちらの通り、/boot/grub/grub.confに設定を追加。 Kernel panic – not syncing: Attempted to kill init! http://h2np.net/mynotebook/post/130 設定変更後、以下の操作をそれぞれ10回ほど試した限りでは再発していません。 　(1)halt＋起動 (2)reboot 追記：と思ったらまた発生した。なんかもう解決できる気がしない。
コメントを投稿
続きを読む

[Python]システムトレード環境

最近、システムトレードをしている。 日本株は、自動売買までは実現できていないが、トレンド分析くらいはできるようになっている。 とりあえず、現時点の環境を整理しておきたい。 ■日本株 H/W：さくらVPS（2GBだったかな？） OS：CentOS6.4（x86_64） 言語：Python DB：SQLite3 データソース： http://www.data-get.com/main/ （有料） データ種別：株価データ、銘柄情報データ、分割併合データ ■FX H/W：DELL T100（6年前のもの）+CPU4コアに換装済+メモリ8GB化済 OS：Windows 7 64bit プラットフォーム：MetatTrader 4 言語：MQL4 取引業者：Alpari Japan ■クライアント H/W：MacBook Pro 13インチ（2010-Mid） 特に不満はないけど、さくらVPSが高い。 自宅のT100は古いけど重い処理をさせるわけじゃない。 そのうちさくらVPSから自宅PCのVirtualBoxかなんかの仮想環境に引っ越す可能性もある。 こんなところ。
コメントを投稿
続きを読む