スキップしてメイン コンテンツに移動

[Python][Google App Engine]Taskqueue.add()からのTaskqueue.add()-仮説編-

非同期処理から非同期処理を起動したい。
なんてことがあるかどうかは知らないけど、気になってしまった。。。

  • データストアへのアクセスは遅いので、出来る限りTaskqueue.add()で非同期に寄せたい
  • さらに並列処理もTaskqueue.add()で非同期に寄せたい
この2点を満たそうとしてこんな構造にしてしまった。
  • cronからTaskqueue.add()で非同期処理を起動
  • DataStoreから後続の並列処理で共通で使うデータを取得
  • 1段目の非同期処理で取得したデータを付加してTaskqueue.add()で後続の非同期処理を起動
雰囲気的にはできそう。考慮しなければいけない制約はこんな感じか。
  • リクエストのサイズに上限があるので、1段目の非同期処理から並列処理に全てのデータが渡せるか
  • 処理するリクエストが増えて処理全体のオーバーヘッドが大きくなる
試してまた書きたい。

コメント

コメントを投稿

このブログの人気の投稿

[Python]redis-pyでRedis Pub/Sub実装

前から面白そうと思っていたRedisのPub/Sub機能。 redis-pyでどう実装すれば使えるか確認してみた。 ■Pub/Subについて http://ja.wikipedia.org/wiki/出版-購読型モデル ■pub.py from redis import StrictRedis def publish(channel,msg): """ redis-pyにはPUBLISHするためのメソッドがないので、 Redisのコマンドをそのまま実行する為のクラスを使う。 """ sr=StrictRedis() """ 第1引数にRedisのコマンド、第2引数以降は そのコマンドの引数をそのままセット """ sr.execute_command("PUBLISH",channel,msg) if __name__=="__main__": # チャネル"hoge"に"Hello"というメッセージを出版（Publish） publish("hoge","Hello") ■sub.py from redis import Redis def listen(channel): r=Redis() ps=r.pubsub() ps.subscribe(channel) while True: for i in ps.listen(): print i["data"] if __name__=="__main__": # チャネル"hoge"を購読（Subscribe） listen("hoge") ■実行方法・実行結果 （ターミナル1-準備） [user@localhost ~]# python sub.py 1 # => チャネ
コメントを投稿
続きを読む

[OS]VirtualBoxでCentOS6.5(x86_64)がKernel panicを起こした

完全に対処療法。 恥ずかしながら自分では原因がわかっていない。 忘れないようにメモしておく。 いろいろ設定したあと、何度目かの再起動のタイミングでKernel panicが発生して起動しないという事象が発生。 こちらの方法でなんとか起動させて。 [CentOS] SELinux 無効化後のカーネルパニック http://kuni255.blogspot.jp/2013/04/centos-selinux.html こちらの通り、/boot/grub/grub.confに設定を追加。 Kernel panic – not syncing: Attempted to kill init! http://h2np.net/mynotebook/post/130 設定変更後、以下の操作をそれぞれ10回ほど試した限りでは再発していません。 　(1)halt＋起動 (2)reboot 追記：と思ったらまた発生した。なんかもう解決できる気がしない。
コメントを投稿
続きを読む

[Python]システムトレード環境

最近、システムトレードをしている。 日本株は、自動売買までは実現できていないが、トレンド分析くらいはできるようになっている。 とりあえず、現時点の環境を整理しておきたい。 ■日本株 H/W：さくらVPS（2GBだったかな？） OS：CentOS6.4（x86_64） 言語：Python DB：SQLite3 データソース： http://www.data-get.com/main/ （有料） データ種別：株価データ、銘柄情報データ、分割併合データ ■FX H/W：DELL T100（6年前のもの）+CPU4コアに換装済+メモリ8GB化済 OS：Windows 7 64bit プラットフォーム：MetatTrader 4 言語：MQL4 取引業者：Alpari Japan ■クライアント H/W：MacBook Pro 13インチ（2010-Mid） 特に不満はないけど、さくらVPSが高い。 自宅のT100は古いけど重い処理をさせるわけじゃない。 そのうちさくらVPSから自宅PCのVirtualBoxかなんかの仮想環境に引っ越す可能性もある。 こんなところ。
コメントを投稿
続きを読む