mongodb中oplog介紹和格式詳析
1. 基本概念
oplog使用固定大小集合記錄了數(shù)據(jù)庫中所有修改操作的操作日志(新增、修改和刪除，無查詢)，mongodb收到修改請求后，先在主節(jié)點（Primary）執(zhí)行請求，再把操作日志保存到oplog表中，其他從節(jié)點（Secondary）到主節(jié)點拉取oplog并在異步進程中應(yīng)用這些操作，從而達(dá)到主從數(shù)據(jù)的一致性。復(fù)制組內(nèi)的所有節(jié)點都會保存一份oplog(集合名local.oplog.rs)，這讓他們可以保持同樣的數(shù)據(jù)庫狀態(tài)。
為了提高同步效率，所有復(fù)制組成員都會向其他成員發(fā)送保活報文(pings)，任意從節(jié)點可以從其他成員節(jié)點同步oplog（即可以從主節(jié)點同步，也可以從從節(jié)點同步）。oplog中的操作都是冪等的，即oplog中的某個操作日志在目標(biāo)數(shù)據(jù)庫中應(yīng)用一次或者多次，其結(jié)果都是一樣的。
主從同步示意圖如下(客戶端寫數(shù)據(jù)到主節(jié)點，從節(jié)點從主節(jié)點同步oplog并應(yīng)用到本節(jié)點)：
2. Oplog 的默認(rèn)儲存大小
當(dāng)你首次啟動復(fù)制組節(jié)點時，在你未指定oplog大小時，mongodb會使用默認(rèn)大小來創(chuàng)建oplog。
對于Unix和Windows系統(tǒng)來說，默認(rèn)大小和存儲引擎的對應(yīng)關(guān)系如下：
| 存儲引擎類型 | oplog大小 | 下限 | 上限 |
| 內(nèi)存 | 物理內(nèi)存的5% | 50MB | 50GB |
| WiredTiger | 空閑磁盤的5% | 990MB | 50GB |
(注意，最新4.4版本的mongodb移除了MMAP類型存儲引擎的支持。)
對于64位maxOS系統(tǒng)來說，參照使用的存儲引擎類型，該默認(rèn)大小是192MB（物理內(nèi)存或者磁盤空間），如下：
| 存儲引擎類型 | oplog大小 |
| 內(nèi)存 | 192MB物理內(nèi)存 |
| WiredTiger | 192MB的磁盤空間 |
大部分情況下，oplog的默認(rèn)大小是足夠的。舉個例子，如果5%的磁盤空間存儲了最近24小時的操作日志，此時如果某個從節(jié)點的日志同步時間差超過24小時時，從節(jié)點將停止同步oplog，并將自身的狀態(tài)從“Secondery”切換到“STALE”。當(dāng)然，在實際的運行環(huán)境中，大部分復(fù)制組成員的負(fù)載會低一些，他們的oplog中也會持有更長時間段的日志。
3. 可能需要更大oplog的工作負(fù)載
如果你預(yù)測到你的復(fù)制組的工作負(fù)載屬于以下的模式，你需要創(chuàng)建比默認(rèn)值更大一些的oplog。相反的，如果你的應(yīng)用大部分情況下是讀操作，只有小部分的寫操作，那么更小一些的oplog也是滿足需要的。
下面的工作負(fù)載可能需要更大一些的oplog
單次操作會更新多條記錄
為了滿足oplog的冪等性，單次操作更新多條記錄時，mongodb會記錄多條操作日志到oplog中，這種場景就需要使用大量的oplog的空間，雖然此時數(shù)據(jù)大小或者磁盤大小并沒有相應(yīng)的增加那么多。
刪除操作和插入操作一樣多時
如果你的刪除操作請求量和插入操作的請求量大致相當(dāng)時，數(shù)據(jù)庫在磁盤空間消耗方面不會有明顯增長，但是操作日志的大小會非常巨大。
顯著數(shù)量的原文檔更新
如果工作負(fù)載的大部分操作都是原文檔更新，此時雖然不會增加數(shù)據(jù)庫中文檔的數(shù)量，但是數(shù)據(jù)庫需要記錄大量的操作日志。
4. Oplog狀態(tài)
如果要查看oplog的狀態(tài)，包含記錄條數(shù)和時間范圍，可以使用"rs.printReplicationInfo() "命令，如下：
MongoDB Enterprise repa:PRIMARY> rs.printReplicationInfo() configured oplog size: 1024MB // oplog大小是1024MB log length start to end: 867353secs (240.93hrs) // 第一條和最后一條日志的時間差是240.93小時 oplog first event time: Wed Jul 07 2021 20:24:57 GMT+0800 oplog last event time: Sat Jul 17 2021 21:20:50 GMT+0800 now: Sat Jul 17 2021 21:20:56 GMT+0800
5. Oplog格式
從前面知道oplog是存儲在數(shù)據(jù)庫local中，表名為“oplog.rs”，通過查詢命令看一下oplog的數(shù)據(jù)格式：
db.oplog.rs.find({"ns":"test.users"}).limit(1) // ns字段指明查詢對數(shù)據(jù)庫test中users表的操作日志
{
"ts": Timestamp(1625660877, 2), // 日志的操作時間戳，第一個數(shù)字是時間戳，單位秒，第二個數(shù)字是當(dāng)前秒的第2個操作
"t": NumberLong(2),
"h": NumberLong("5521980394145765083"),
"v": 2,
"op": "i", // i表示insert，u表示update,d表示delete，c 表示的是數(shù)據(jù)庫的命令，比如建表,n表示noop,即空操作
"ns": "test.users", // 命名空間，即數(shù)據(jù)庫和集合名稱
"ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), // 連接到mongodb的客戶端會話id
"wall": ISODate("2021-07-07T12:27:57.689Z"), // 操作執(zhí)行時間，utc時間
"o": { // 操作的內(nèi)容，對于不同的op類型，其格式不盡相同
"_id": ObjectId("60e59dcd46db1fb4605f8b18"),
"name": "1"
}
}
6. CUD操作和Oplog的對應(yīng)關(guān)系
前面分析oplog日志格式的時候，查看了一條insert操作對應(yīng)的日志，就不再贅述，下面再看下delete和update對應(yīng)的日志格式(find不會產(chǎn)生oplog)。
delete操作
首先插入三條記錄：
MongoDB Enterprise repa:PRIMARY> use testswitched to db testMongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"張三","age":NumberInt(10),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"李四","age":NumberInt(11),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"王五","age":NumberInt(12),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.find(){ "_id" : ObjectId("60f2e11b0d98dc3b374199de"), "name" : "張三", "age" : 10, "sex" : "男" }{ "_id" : ObjectId("60f2e11e0d98dc3b374199df"), "name" : "李四", "age" : 11, "sex" : "男" }{ "_id" : ObjectId("60f2e11e0d98dc3b374199e0"), "name" : "王五", "age" : 12, "sex" : "男" }
執(zhí)行delete操作，匹配條件是{"sex":"男"}，即刪除所有性別為男的記錄：
MongoDB Enterprise repa:PRIMARY> db.users.remove({"sex":"男"})
WriteResult({ "nRemoved" : 3 })
MongoDB Enterprise repa:PRIMARY> db.users.find()
MongoDB Enterprise repa:PRIMARY>
可以看到，一條刪除命令刪除了三條記錄，對應(yīng)的oplog是什么呢，來，查一下：
MongoDB Enterprise repa:PRIMARY> use local
switched to db local
MongoDB Enterprise repa:PRIMARY> db.oplog.rs.find({"ns":"test.users","op":"d","wall":{"$gt":ISODate("2021-07-17T13:50:57.689Z")}})
{ "ts" : Timestamp(1626530154, 1), "t" : NumberLong(2), "h" : NumberLong("5834731856459959506"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11b0d98dc3b374199de") } }
{ "ts" : Timestamp(1626530154, 2), "t" : NumberLong(2), "h" : NumberLong("-2164276082472824844"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11e0d98dc3b374199df") } }
{ "ts" : Timestamp(1626530154, 3), "t" : NumberLong(2), "h" : NumberLong("3834858247238363179"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11e0d98dc3b374199e0") } }
MongoDB Enterprise repa:PRIMARY>
從上可以看到，一條刪除命令，在oplog中記錄了三條日志，下面分析其中的一條：
{
"ts": Timestamp(1626530154, 1),
"t": NumberLong(2),
"h": NumberLong("5834731856459959506"),
"v": 2,
"op": "d", // 刪除操作
"ns": "test.users", // 數(shù)據(jù)庫是test，集合是users
"ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"),
"wall": ISODate("2021-07-17T13:55:54.424Z"),
"o": { // 待刪除記錄的_id
"_id": ObjectId("60f2e11b0d98dc3b374199de")
}
}
從上面日志分析可以得到結(jié)論：
用戶的一次刪除請求，如果刪除了N條記錄，那么oplog中將記錄N條日志，日志中會記錄待刪除記錄的“_id”字段，與用戶的刪除請求的參數(shù)無關(guān)。
update操作
下面再看下更新操作對應(yīng)的oplog的日志數(shù)量和格式。
首先插入三條記錄：
MongoDB Enterprise repa:PRIMARY> use test
switched to db test
MongoDB Enterprise repa:PRIMARY>
MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"張三","age":NumberInt(10),"sex":"男"})
WriteResult({ "nInserted" : 1 })
MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"李四","age":NumberInt(11),"sex":"男"})
WriteResult({ "nInserted" : 1 })
MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"王五","age":NumberInt(12),"sex":"男"})
WriteResult({ "nInserted" : 1 })
MongoDB Enterprise repa:PRIMARY> db.users.find()
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e1"), "name" : "張三", "age" : 10, "sex" : "男" }
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e2"), "name" : "李四", "age" : 11, "sex" : "男" }
{ "_id" : ObjectId("60f2e2dc0d98dc3b374199e3"), "name" : "王五", "age" : 12, "sex" : "男" }
再執(zhí)行更新操作：
MongoDB Enterprise repa:PRIMARY> db.users.update({"sex":"男"}, {"$inc":{"age":NumberInt(1)}}, false, true)
WriteResult({ "nMatched" : 3, "nUpserted" : 0, "nModified" : 3 })
MongoDB Enterprise repa:PRIMARY> db.users.find()
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e1"), "name" : "張三", "age" : 11, "sex" : "男" }
{ "_id" : ObjectId("60f2e2db0d98dc3b374199e2"), "name" : "李四", "age" : 12, "sex" : "男" }
{ "_id" : ObjectId("60f2e2dc0d98dc3b374199e3"), "name" : "王五", "age" : 13, "sex" : "男" }
從返回結(jié)果可以看到，更新操作執(zhí)行成功，并更新了三條記錄，下面看下oplog的日志：
MongoDB Enterprise repa:PRIMARY> use local
switched to db local
MongoDB Enterprise repa:PRIMARY> db.oplog.rs.find({"ns":"test.users","op":"u","wall":{"$gt":ISODate("2021-07-17T13:50:57.689Z")}})
{ "ts" : Timestamp(1626530575, 1), "t" : NumberLong(2), "h" : NumberLong("-6359278368726841648"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2db0d98dc3b374199e1") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 11 } } }
{ "ts" : Timestamp(1626530575, 2), "t" : NumberLong(2), "h" : NumberLong("-4351658862590633053"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2db0d98dc3b374199e2") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 12 } } }
{ "ts" : Timestamp(1626530575, 3), "t" : NumberLong(2), "h" : NumberLong("5911110003695351597"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2dc0d98dc3b374199e3") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 13 } } }
和delete類似，update操作也是產(chǎn)生了三條日志，選第一條分析：
{
"ts": Timestamp(1626530575, 1),
"t": NumberLong(2),
"h": NumberLong("-6359278368726841648"),
"v": 2,
"op": "u", // 更新操作
"ns": "test.users", // 數(shù)據(jù)庫test，集合是users
"ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"),
"o2": { // 更新操作的查詢條件，使用的記錄的_id
"_id": ObjectId("60f2e2db0d98dc3b374199e1")
},
"wall": ISODate("2021-07-17T14:02:55.319Z"),
"o": { // 更新操作的更新內(nèi)容，原始的inc操作符轉(zhuǎn)變?yōu)閟et操作符，可以滿足冪等性
"$v": 1,
"$set": {
"age": 11
}
}
}
從上面日志分析可以得到結(jié)論：
用戶的一次更新請求，如果更新了N條記錄，那么oplog中將記錄N條日志，日志中記錄待更新記錄的“_id”字段為查詢條件，更新操作使用的是set操作符，并不是用戶的更新操作符。
小結(jié)
從上面的delete和update操作對應(yīng)的oplog日志分析可以看出，oplog記錄的不是用戶的原始命令，而是對應(yīng)的邏輯命令，通過這種方式可以滿足oplog的冪等性，但是也會衍生出可能產(chǎn)生大量oplog記錄的問題，需要用戶根據(jù)業(yè)務(wù)模型的需要，來選擇合適的oplog大小。
https://github.com/tomliugen
總結(jié)
到此這篇關(guān)于mongodb中oplog介紹和格式詳析的文章就介紹到這了,更多相關(guān)mongodb oplog和格式內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
本文給大家介紹的是使用yum源安裝MongoDB的詳細(xì)的圖文教程，小伙伴們跟著教程一步步操作即可，希望大家喜歡2018-09-09
這篇文章主要介紹了mongodb處理中文索引與查找字符串的相關(guān)資料，文中介紹的非常詳細(xì)，相信對大家具有一定的參考價值，需要的朋友們下面來一起看看吧。2017-03-03
這篇文章主要給大家介紹了關(guān)于mongodb 4.0副本集搭建的全過程，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用mongodb 4.0具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
MongoDB學(xué)習(xí)以及集群搭建的實踐全紀(jì)錄
這篇文章主要給大家介紹了關(guān)于MongoDB學(xué)習(xí)以及集群搭建的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-09-09
MongoDB中自動增長ID詳解(實現(xiàn)、應(yīng)用及優(yōu)化)
在MongoDB中,自動增長的功能主要通過使用數(shù)據(jù)庫的ObjectId或自定義的序列來實現(xiàn),ObjectId是MongoDB默認(rèn)的主鍵類型,它是唯一的并且具有一定的排序特性,本文給大家介紹了MongoDB中自動增長ID,需要的朋友可以參考下2024-06-06
這篇文章主要介紹了 mongodb 隨機獲取一條記錄的方法的相關(guān)資料,需要的朋友可以參考下2016-10-10
將MongoDB加入到Windows的本地服務(wù)項的方法
下面主要針對MongoDB在Windows下加入本地服務(wù)項做一些簡單的分享。以方便剛接觸MongoDB并在Windows環(huán)境下進行開發(fā)的同學(xué)2014-08-08
關(guān)于Mongodb 認(rèn)證鑒權(quán)你需要知道的一些事
最近因為mongodb被黑了，早先我就疑惑過怎么這東西開啟服務(wù)就能用了，后來找了各方資料，知道MongoDB默認(rèn)是沒有鑒權(quán)的，所以這篇文章主要給大家介紹了關(guān)于Mongodb認(rèn)證鑒權(quán)你需要知道的一些事，需要的朋友可以參考下。2017-10-10
MongoDB教程之?dāng)?shù)據(jù)操作實例
這篇文章主要介紹了MongoDB教程之?dāng)?shù)據(jù)操作實例,本文講解了批量插入、數(shù)據(jù)庫清除、數(shù)據(jù)更新、修改器、數(shù)組修改器、upsert等內(nèi)容,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了MongoDB 分布式集群的相關(guān)資料，文中講解非常細(xì)致，幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07