AWS導入(2)
こんな感じjsonをいい感じのテーブルにしてあげたい。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
{'time': '20201024121805696000', 'bids0': 1359640.0, 'bids0_size': 0.1, 'bids1': 1359635.0, 'bids1_size': 0.2, 'bids2': 1359080.0, 'bids2_size': 0.1, 'bids3': 1359070.0, 'bids3_size': 0.1, 'bids4': 1359061.0, 'bids4_size': 0.075, 'asks0': 1359640.0, 'asks0_size': 0.1, 'asks1': 1359635.0, 'asks1_size': 0.2, 'asks2': 1359080.0, 'asks2_size': 0.1, 'asks3': 1359070.0, 'asks3_size': 0.1, 'asks4': 1359061.0, 'asks4_size': 0.075} |
DynamoDBのまとめ
DynamoDB自体触るの初めてなので、NoSQLだよーとは聞くもののわからないこと多いので記録
このサイトから抜粋
大事な点としては
- KV(Key value方式)
- JOINはできない！
- 要はRDBMSから完全な移管は不可
- 昔は正規化ガンガンしていたが、そんなことはしない。実務ベースでどのキーで検索を書けるかが超重要
- テーブル定義時にINDEXを設定。そのキーの変更はできない
- INDEXをキー以外の検索は最悪全探索なので効率が悪い
- ただし、Global/Local secondary Indexっていう「繋がりINDEX」を指定することでレコード間のつながりを表現できる（グラフっぽい？）
- Global/loccalの違いは利用方法の違い。繋がり名から検索するか、繋がり名を中間のキーとして検索するか
- ただし、Global/Local secondary Indexっていう「繋がりINDEX」を指定することでレコード間のつながりを表現できる（グラフっぽい？）
- 要は検索が得意ではない
- HASHとSORTで成立して、HASHは分散検索用で、SORTは分散時の並び順(検索に相当)
- PK(partition key )＝HASH
- HASHとSORTで成立して、HASHは分散検索用で、SORTは分散時の並び順(検索に相当)
- トランザクションというのはない
- 速さ重視なので状況次第で可用性(A: 常にRWができる)と整合性(C: 読み込み結果が正しい)がおざなり。（と推測）
- 分断体制(P)は保証
- RDBMSはトランザクションあるんで関連テーブルとかを全チェックしちゃうので、オーバーヘッド大きい＆速度遅い
- 速さ重視なので状況次第で可用性(A: 常にRWができる)と整合性(C: 読み込み結果が正しい)がおざなり。（と推測）
- その代わり、INDEX以外の項目を身勝手に追加できる
- これがRDBとは違うスキーマレスの考え方
- 身勝手に追加できるので、細かい項目決まってないPJとかにはいいかも
- 逆にスキーマレスなので、正規化いらないでしょ？的な思考らしい
- AWSガイド上でも頑張れば１つのテーブルでいくことがベストプラクティスとのこと
- これがRDBとは違うスキーマレスの考え方
テーブルつくる
コンソール上でもできるが、CFnに入れたいのでjsonでかく。というかローカルでなんとかしたい
紆余曲折を経て、こうなりました。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
(py37b) Macico:kuloko macico$ cat quote_table.json { "TableName": "Quote", "AttributeDefinitions":[ {"AttributeName": "feed_datetime", "AttributeType": "S"}, {"AttributeName": "sym", "AttributeType": "S"} ], "KeySchema":[ {"AttributeName": "sym" , "KeyType": "HASH" }, {"AttributeName": "feed_datetime" , "KeyType": "RANGE" }], "ProvisionedThroughput":{ "ReadCapacityUnits": 5, "WriteCapacityUnits": 5 } } |
ポイント
- feed_datetimeという名称に変更しました。これはdynamodbのreservedワードだったからｗｗ
- 予約語を項目名にしてるとでちゃう（自分はクエリ叩いたときに気づいた）
- attribbute definition はindexとなりうるものたち。つまり、ここに書くキー全てがはHASHかRANGEのどちらかに定義されている必要あり。その定義はkeyschemaかGlobal/Local SIに書く。
- キーの中身はString(S), Numeric(N), BInary(B)を指定
- 詳細はAWSみてね
- Provisioningは必須
- 他の項目(上で言うところの身勝手に追加できる項目)はINDEXではないので、ここにかかなくていい
- ↑の定義はjsonで書いているよ。–cli-input-yamlはない。（あるって書いてあるけど…わからない）
- ここに書いてある定義の変更は不可
- ただしGSLは行ける。R/W CUも行ける。
最初は、全部ask1とか突っ込むかと思ったけど違った。認識甘かった
突っ込んで、確認します。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
(py37b) Macico:kuloko macico$ aws dynamodb create-table --cli-input-json file://quote_table.json --endpoint-url http://localhost:8000 { "TableDescription": { "AttributeDefinitions": [ { "AttributeName": "feed_datetime", "AttributeType": "S" }, { "AttributeName": "sym", "AttributeType": "S" } ], "TableName": "Quote", "KeySchema": [ { "AttributeName": "sym", "KeyType": "HASH" }, { "AttributeName": "feed_datetime", "KeyType": "RANGE" } ], "TableStatus": "ACTIVE", "CreationDateTime": 1603587197.54, "ProvisionedThroughput": { "LastIncreaseDateTime": 0.0, "LastDecreaseDateTime": 0.0, "NumberOfDecreasesToday": 0, "ReadCapacityUnits": 5, "WriteCapacityUnits": 5 }, "TableSizeBytes": 0, "ItemCount": 0, "TableArn": "arn:aws:dynamodb:ddblocal:000000000000:table/Quote" } } |
|
1 2 3 4 5 6 7 8 |
(py37b) Macico:kuloko macico$ aws dynamodb list-tables \ > --endpoint-url http://localhost:8000 { "TableNames": [ "Access", "Quote" ] } |
＊Accessは関係ないです。
テストデータを入れます。JSONっぽくいれます。
|
1 2 3 4 5 |
(py37b) Macico:kuloko macico$ aws dynamodb put-item --table-name Quote --item '{"feed_datetime":{"S":"20201001125959100"}, "sym":{"S":"BTC"}, "ask1":{ "N":"100.0"}, "ask1_size":{ "N":"2.0"}, "ask2":{ "N":"101.0"}, "ask2_size":{ "N":"3.0"}, "ask3":{ "N":"102.0"}, "ask3_size":{ "N":"23.0"}, "ask4":{ "N":"103.0"}, "ask4_size":{ "N":"32.0"}, "ask5":{ "N":"104.0"}, "ask5_size":{ "N":"233.0"},"bid1":{ "N":"99.0"}, "bid1_size":{ "N":"233.0"}, "bid2":{ "N":"98.0"}, "bid2_size":{ "N":"3112.0"},"bid3":{ "N":"97.0"}, "bid3_size":{ "N":"20"}, "bid4":{ "N":"96.0"}, "bid4_size":{ "N":"133.0"},"bid5":{ "N":"95.0"}, "bid5_size":{ "N":"54.0"}}' --endpoint-url http://localhost:8000 (py37b) Macico:kuloko macico$ aws dynamodb put-item \ > --table-name Quote \ > --item '{"feed_datetime":{"S":"20201001125959101"}, "sym":{"S":"BTC"}, "ask1":{ "N":"100.5"}, "ask1_size":{ "N":"2.0"}, "ask2":{ "N":"101.0"}, "ask2_size":{ "N":"3.0"}, "ask3":{ "N":"102.0"}, "ask3_size":{ "N":"23.0"}, "ask4":{ "N":"103.0"}, "ask4_size":{ "N":"32.0"}, "ask5":{ "N":"104.0"}, "ask5_size":{ "N":"233.0"},"bid1":{ "N":"99.0"}, "bid1_size":{ "N":"233.0"}, "bid2":{ "N":"98.0"}, "bid2_size":{ "N":"3112.0"},"bid3":{ "N":"97.0"}, "bid3_size":{ "N":"20"}, "bid4":{ "N":"96.0"}, "bid4_size":{ "N":"133.0"},"bid5":{ "N":"95.0"}, "bid5_size":{ "N":"54.0"}}'\ > --endpoint-url http://localhost:8000 |
単一項目get
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 |
(py37b) Macico:kuloko macico$ aws dynamodb get-item \ > --table-name Quote \ > --key '{"feed_datetime":{"S":"20201001125959100"}, "sym":{"S":"BTC"}}' \ > --endpoint-url http://localhost:8000 { "Item": { "bid4_size": { "N": "133" }, "ask3_size": { "N": "23" }, "sym": { "S": "BTC" }, "bid1_size": { "N": "233" }, "ask5": { "N": "104" }, "ask2": { "N": "101" }, "bid2_size": { "N": "3112" }, "ask1": { "N": "100" }, "ask2_size": { "N": "3" }, "ask5_size": { "N": "233" }, "ask1_size": { "N": "2" }, "ask4": { "N": "103" }, "bid5": { "N": "95" }, "bid5_size": { "N": "54" }, "ask3": { "N": "102" }, "feed_datetime": { "S": "20201001125959100" }, "bid3": { "N": "97" }, "ask4_size": { "N": "32" }, "bid4": { "N": "96" }, "bid1": { "N": "99" }, "bid2": { "N": "98" }, "bid3_size": { "N": "20" } } } |
クエリっぽくいけます
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 |
(py37b) Macico:kuloko macico$ aws dynamodb query \ > --table-name Quote \ > --key-condition-expression 'feed_datetime = :feed_datetime and sym = :sym' \ > --expression-attribute-values '{ ":feed_datetime": { "S": "20201001125959101" }, ":sym": { "S": "BTC" } }' \ > --endpoint-url http://localhost:8000 { "Items": [ { "bid4_size": { "N": "133" }, "ask3_size": { "N": "23" }, "sym": { "S": "BTC" }, "bid1_size": { "N": "233" }, "ask5": { "N": "104" }, "ask2": { "N": "101" }, "bid2_size": { "N": "3112" }, "ask1": { "N": "100.5" }, "ask2_size": { "N": "3" }, "ask5_size": { "N": "233" }, "ask1_size": { "N": "2" }, "ask4": { "N": "103" }, "bid5": { "N": "95" }, "bid5_size": { "N": "54" }, "ask3": { "N": "102" }, "feed_datetime": { "S": "20201001125959101" }, "bid3": { "N": "97" }, "ask4_size": { "N": "32" }, "bid4": { "N": "96" }, "bid1": { "N": "99" }, "bid2": { "N": "98" }, "bid3_size": { "N": "20" } } ], "Count": 1, "ScannedCount": 1, "ConsumedCapacity": null } |
テスト終わったので消します
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
(py37b) Macico:kuloko macico$ aws dynamodb delete-table \ > --table-name Quote \ > --endpoint-url http://localhost:8000 { "TableDescription": { "AttributeDefinitions": [ { "AttributeName": "feed_datetime", "AttributeType": "S" }, { "AttributeName": "sym", "AttributeType": "S" } ], "TableName": "Quote", "KeySchema": [ { "AttributeName": "sym", "KeyType": "HASH" }, { "AttributeName": "feed_datetime", "KeyType": "RANGE" } ], "TableStatus": "ACTIVE", "CreationDateTime": 1603587197.54, "ProvisionedThroughput": { "LastIncreaseDateTime": 0.0, "LastDecreaseDateTime": 0.0, "NumberOfDecreasesToday": 0, "ReadCapacityUnits": 5, "WriteCapacityUnits": 5 }, "TableSizeBytes": 430, "ItemCount": 2, "TableArn": "arn:aws:dynamodb:ddblocal:000000000000:table/Quote" } } |
ブラウザでチェック
いまendpointをlocalhost:8080にしているので、
|
1 |
http://localhost:8000/shell/ |
をお手待ちのブラウザで開くといい感じの画面出る。↑で叩いたようなクエリをJSで書いて叩けば帰ってくる。
AWS上に作りたい
そうですね作りたいですね。
まだなので、メモ程度にリンクはります
参考
１