mongodb パフォーマンステストログ

Comments

Surgo 2010-01-24

34000: 2009-11-06 14:23:29
35000: 2009-11-06 14:23:42.437000
36000: 2009-11-06 14:23:56.328000
37000: 2009-11-06 14:24:10.531000
38000: 2009-11-06 14:24:25.828000
39000: 2009-11-06 14:24:40.859000
40000: 2009-11-06 14:24:56.234000
41000: 2009-11-06 14:25:12.156000
42000: 2009-11-06 14:25:28.296000
43000: 2009-11-06 14:25:44.921000
44000: 2009-11-06 14:26:02.031000
45000: 2009-11-06 14:26:19.562000
46000: 2009-11-06 14:26:37.390000
47000: 2009-11-06 14:26:55.562000
48000: 2009-11-06 14:27:14.125000
49000: 2009-11-06 14:27:33
50000: 2009-11-06 14:27:52.187000

Surgo 2010-01-24

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3951 admin 20 0 222m 23m 22m S 97.1 2.3 40:11.16 mongod

cpu コスト

Surgo 2010-01-24

top - 14:42:51 up 3:03, 2 users, load average: 0.99, 0.97, 0.79
Tasks: 88 total, 2 running, 84 sleeping, 2 stopped, 0 zombie
Cpu(s): 93.7%us, 4.3%sy, 0.0%ni, 1.0%id, 0.0%wa, 0.3%hi, 0.7%si, 0.0%st
Mem: 1026748k total, 504108k used, 522640k free, 17032k buffers
Swap: 746980k total, 0k used, 746980k free, 418152k cached

うーむ

Surgo 2010-01-24

51000: 2009-11-06 14:28:11.671000
52000: 2009-11-06 14:28:36.421000
53000: 2009-11-06 14:28:56.812000
54000: 2009-11-06 14:29:17.453000
55000: 2009-11-06 14:29:38.453000
56000: 2009-11-06 14:29:59.781000

20 秒ぐらいかかるようになってきた

Surgo 2010-01-24

1 レコード内の情報
{'k':key, 'v':{'foo':foo, 'bar':999}}
key に対する value が複数あり、すでに 'k' があれば 'bar' を加算し、 'k' がなければ insert するという処理。
最初は 'key' を複数指定してたけど、パフォーマンスが悪いので 'key' はひとつで find_one することにした。

Surgo 2010-01-24

57000: 2009-11-06 14:30:21.843000
58000: 2009-11-06 14:30:44.031000
59000: 2009-11-06 14:31:06.625000
60000: 2009-11-06 14:31:29.625000
61000: 2009-11-06 14:31:52.921000
62000: 2009-11-06 14:32:16.687000
63000: 2009-11-06 14:32:40.859000
64000: 2009-11-06 14:33:05.375000
65000: 2009-11-06 14:33:29.734000
66000: 2009-11-06 14:33:54.234000
67000: 2009-11-06 14:34:19.218000
68000: 2009-11-06 14:34:44.484000
69000: 2009-11-06 14:35:10.187000
70000: 2009-11-06 14:35:36.109000
71000: 2009-11-06 14:36:02.515000
72000: 2009-11-06 14:36:29.234000
30 秒ぐらいですね

Surgo 2010-01-24

73000: 2009-11-06 14:36:56.562000
74000: 2009-11-06 14:37:24.171000
75000: 2009-11-06 14:37:52.328000
76000: 2009-11-06 14:38:20.703000
77000: 2009-11-06 14:38:49.375000
78000: 2009-11-06 14:39:18.531000
79000: 2009-11-06 14:39:48.046000
80000: 2009-11-06 14:40:18.093000
81000: 2009-11-06 14:40:48.218000
82000: 2009-11-06 14:41:18.671000
30 秒で落ち着いたかな

Surgo 2010-01-24

83000: 2009-11-06 14:41:49.375000
84000: 2009-11-06 14:42:20.640000
85000: 2009-11-06 14:42:52
86000: 2009-11-06 14:43:23.937000
87000: 2009-11-06 14:43:56.328000
88000: 2009-11-06 14:44:28.968000
89000: 2009-11-06 14:45:01.796000
90000: 2009-11-06 14:45:35.031000
91000: 2009-11-06 14:46:08.593000
92000: 2009-11-06 14:46:42.515000
93000: 2009-11-06 14:47:17.046000
94000: 2009-11-06 14:47:51.546000
95000: 2009-11-06 14:48:26.421000
96000: 2009-11-06 14:49:01.546000
97000: 2009-11-06 14:49:37.046000
98000: 2009-11-06 14:50:13.250000
99000: 2009-11-06 14:50:49.968000
100000: 2009-11-06 14:51:26.968000

とりあえず 10 万件で止める

Surgo 2010-01-24

conf とかいじってない状態で couchdb と mongodb でテスト。
設定が悪いのか couchdb は(どのバージョンでも)件数が増えると socket エラーで止まってしまった。
mongodb は couchdb と同じデータを入れても速いし、こけたりはしない。
パフォチューしたら何とかなるかもしれないけど・・・。

そのかわり、couchdb は mongodb より cpu も memory も消費が少ない。
バイナリー (bson) だからなのかな？

もちょっと触って勉強してみる。