重新定義OLTP數據庫

On-Line Transaction Processing聯機事務處理過程(OLTP)

• 什么是MongoDB

  一個以Json為數據模型的文檔數據庫。

• 為什么叫文檔數據庫？

文檔來自于”JSON Document", 并非我們一般理解的PDF，word…

• 主要用途

應用數據庫，類似于Oracle, Mysql海量數據處理，數據平臺。

• 主要特點

建模為可選

Json數據模型比較適合開發者

橫向擴展可以支持很大數據量和并發

• 2018年開始支持事務
• 優點：

1. 文檔模型
2. OLTP
3. 復制集
4. 通過原生分片支持橫向擴展能力
5. 索引支持

feature

面向開發者的易用+高效數據庫

對象模型的數據庫

靈活：快速響應業務變化

多行行：同一個集合中可以包含不同字段（類型)）

原生的高可用和橫向擴展能力（默認最少三個節點）

Replica Set-2 to 50個成員

MongoDB CURD Operations

Insert

如果集合不存在，自動創建集合.

Insert a Single Document

db.collection.insertOne()

db.inventory.insertOne(
   { item: "canvas", qty: 100, tags: ["cotton"], size: { h: 28, w: 35.5, uom: "cm" } }
)

insertOne 會返回插入文檔的id屬性 _id

Insert Multiple Documents

db.collection.insertMany()

db.inventory.insertMany([
   { item: "journal", qty: 25, tags: ["blank", "red"], size: { h: 14, w: 21, uom: "cm" } },
   { item: "mat", qty: 85, tags: ["gray"], size: { h: 27.9, w: 35.5, uom: "cm" } },
   { item: "mousepad", qty: 25, tags: ["gel", "blue"], size: { h: 19, w: 22.85, uom: "cm" } }
])

insertMany 會返回插入成功的id信息.

• MongoDB會自動創建集合

• 插入語句會自動為沒有包含 _id屬性的文檔自動生成一個 _id屬性用做改文檔的主鍵信息。

• 所有的MongoDB的插入操作是原子性的。

Query

db.collection.find({})

db.inventory.find({})

等值查詢

db.inventory.find({"qty":25})

In 查詢

db.inventory.find({"qty":{$in:[50,100]}})

And

db.inventory.find({"qty":25},{"status":"A"})

Or

db.inventory.find({$or:[ {"qty":25},{"status":"A"}]})

Update

更新一條記錄

db.inventory.updateOne(
{item:"paper"},
{
 $set:{"size.uom":"cm",status:"P"},
 $currentDate:{lastModified: true}
}
)

更新第一個item字段為”paper"的記錄，修改它的size.uom 為 “cm",status改為:“P”,更新字段最后修改日期為當前日期。

更新多條記錄

db.inventory.updateMany(
	{"qty": {$lt: 50}},
	{
	 $set:{"size.uom": "in", status:"P"},
	 $currentDate: {lastModified: true}
	}
)

Delete

刪除所有記錄

db.inventory.deleteMany({})

有條件的刪除記錄

db.inventory.deleteMany({"status": "A"})

刪除一條記錄

db.inventory.deleteOne({status: "D"})

會刪除所有匹配中的記錄中的第一條記錄

文本查找

Example data:

db.stores.insert(
   [
     { _id: 1, name: "Java Hut", description: "Coffee and cakes" },
     { _id: 2, name: "Burger Buns", description: "Gourmet hamburgers" },
     { _id: 3, name: "Coffee Shop", description: "Just coffee" },
     { _id: 4, name: "Clothes Clothes Clothes", description: "Discount clothing" },
     { _id: 5, name: "Java Shopping", description: "Indonesian goods" }
   ]
)

創建索引

db.stores.createIndex({name: "text", description: "text"})

$text

通過$text 使用 text 索引 執行查找，并且在文本通過空格表示or連接符

db.stores.find( { $text: { $search: "java coffee shop" } } )

準確條件時的查詢為了避免錯誤的將空格理解為or，通過 \ 轉義

db.stores.find( { $text: { $search: "\"coffee shop\"" } } )

排除文本操作, 使用 - 表示不包含

db.stores.find( { $text: { $search: "java shop -coffee" } } )

排序

db.stores.find(
   { $text: { $search: "java coffee shop" } },
   { score: { $meta: "textScore" } }
).sort( { score: { $meta: "textScore" } } )

todo:

1. 地理位置查詢
2. 讀隔離，寫確認
3. 原子性和事務性

在執行寫操作的時候，單記錄的寫操作是原子性的。如果寫操作是多記錄的，原子性也是體現在單條記錄的操作上，

在一次寫操作上，如果操作記錄是涉及多條記錄的情況，在整體的多行操作上不是原子性的。如果在執行當前寫操作過程中，如果有其他線程同樣執行寫操作，就有可能會發生交叉操作的情況，從4.0版本開始，MongoDB支持在復制集上支持多記錄上的事務性。在4.2版本開始支持分布式事務。

并發控制

1. 通過在制定字段上創建唯一索引，具體實現如：

update() and Uniqueand findAndModify() and Unique Index

Aggregation

Aggregation Framework是一個計算框架

管道（Pipleline)和步驟（Stage)

• 整個聚合運算過程稱為pipleline，它是由多個步驟（Stage)組成的，每個管道：

1. 接受一系列文檔（原始數據)
2. 每個步驟對這些文檔進行一系列運算；
3. 結果文檔輸出給下一個步驟；

聚合運算的基本格式

Pipleline = [$stage1, $stage2, #stage3, …]

db..aggregate(

Pipleline,

{options}

)

常見步驟

$match 過濾 lt gt and or…

$project 投影 map reduce …

$sort 排序 sum avg push addtoSet

$group 分組

$skip/$skip/limit 結果限制

$lookup 左外鏈接

$unwimd 展開數組

$bucket 分組統計

$facet 聚合bucket.

Demo:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-IJQlPbaU-1584866771729)(/Users/leejiliang/Library/Application Support/typora-user-images/image-20200322093608659.png)]

db.orders.aggregate([
   { $match: { status: "A" } },
   { $group: { _id: "$cust_id", total: { $sum: "$amount" } } }
])

Optimization

1. Projection

通過截取一個Collection的部分內容來優化查詢結果。刪除一些不必要的字段信息。

2. Sequence

Replication

復制集作用

1. 實現服務高可用
2. 數據分發：將數據從一個區域復制到另外一個區域，減少另一個區域的讀延遲
3. 讀寫分離：不同類型的壓力分散在不同的節點上執行
4. 異地容災：在數據中心故障時快速切換到其他服務器

實現的原理

1. 數據寫入時將數據迅速復制到另一個獨立節點上
2. 在接受寫入的節點發生故障時自動選舉出一個新的節點代替主節點

典型復制集結構

三個以上具有投票權的節點組成典型復制集，包括：

1. 一個主節點（PRIMARY) : 接受寫入操作和選舉時投票
2. 多個從節點（SECONDARY) : 復制主節點上的新數據和選舉時負責投票
3. Arbiter(選舉節點)

數據復制過程

• Mongo會在主節點發生變更時，將變更操作記錄下來（類似Mysql binLog）,記錄稱為：oplog.

• 從節點通過不斷的獲取主節點上oplog的變動信息，在從節點上執行以保證跟主節點保持數據一致。

選舉過程

• 具有投票權的節點之間兩兩發送心跳，保持節點狀態被可知；

• 5次心跳未收到時判斷為節點故障

• 如果故障的是主節點，從節點會發起選舉，選舉出新的節點

• 如果是從節點，不會發起選舉

• 選舉是基于（RAFT一致性算法）實現，選舉成功的必要條件是（大多數投票節點存活）

• 復制集中最多可以有50個節點，但是選舉節點最多有7個。

影響選舉的因素

1. 整個集群必須有大多數節點存活
2. 被選舉為主節點的節點要求：

• 能夠與多數節點建立連接
• 具有比較新的oplog
• 如果配置了優先級，優先選擇優先級比較高的節點

復制集節點可選配置項

• 是否具有投票權

• priority 被選舉為主節點的優先級， 為0時不能被選舉為主節點

• hidden 用于復制數據，但是對應用不可見，可以擁有投票權，優先級必須設置為0,被用來做安全備份

• slaveDelay 延遲復制主節點數據，和主節點保持一點的時間差，用于防止誤操作。

Replication 搭建

TODO:—

參考：
MonngoDB官網 https://docs.mongodb.com/manual/
極客時間： MongoDB高手課