【超詳細】手把手教你搭建MongoDB集羣
MongoDB集羣搭建
MongoDB集羣簡介
mongodb 集羣搭建的方式有三種：
- 主從備份（Master - Slave）模式，或者叫主從複製模式。
- 副本集（Replica Set）模式
- 分片（Sharding）模式
其中，第一種方式基本沒什麼意義，官方也不推薦這種方式搭建。另外兩種分別就是副本集和分片的方式。
Mongo分片高可用集羣搭建
概述
為解決mongodb在replica set每個從節點上面的數據庫均是對數據庫的全量拷貝，從節點壓力在高併發大數據量的場景下存在很大挑戰，同時考慮到後期mongodb集羣的在數據壓力巨大時的擴展性，應對海量數據引出了分片機制。
什麼是分片
分片是將數據庫進行拆分，將其分散在不同的機器上的過程，無需功能強大的服務器就可以存儲更多的數據，處理更大的負載，在總數據中，將集合切成小塊，將這些塊分散到若干片中，每個片只負載總數據的一部分，通過一個知道數據與分片對應關係的組件mongos的路由進程進行操作。
基礎組件
其利用到了四個組件：mongos，config server，shard，replica set
mongos
數據庫集羣請求的入口，所有請求需要經過mongos進行協調，無需在應用層面利用程序來進行路由選擇，mongos其自身是一個請求分發中心，負責將外部的請求分發到對應的shard服務器上，mongos作為統一的請求入口，為防止mongos單節點故障，一般需要對其做HA（高可用，Highly Available縮寫）。
config server
配置服務器，存儲所有數據庫元數據（分片，路由）的配置。mongos本身沒有物理存儲分片服務器和數據路由信息，只是緩存在內存中來讀取數據，mongos在第一次啟動或後期重啟時候，就會從config server中加載配置信息，如果配置服務器信息發生更新會通知所有的mongos來更新自己的狀態，從而保證準確的請求路由，生產環境中通常也需要多個config server，防止配置文件存在單節點丟失問題。
shard
在傳統意義上來講，如果存在海量數據，單台服務器存儲1T壓力非常大，考慮到數據庫的硬盤，網絡IO，還有CPU，內存的瓶頸，如果多台進行分攤1T的數據，到每台上就是可估量的較小數據，在mongodb集羣只要設置好分片規則，通過mongos操作數據庫，就可以自動把對應的操作請求轉發到對應的後端分片服務器上。
replica set
在總體mongodb集羣架構中，對應的分片節點，如果單台機器下線，對應整個集羣的數據就會出現部分缺失，這是不能發生的，因此對於shard節點需要replica set來保證數據的可靠性，生產環境通常為2個副本+1個仲裁。
整體架構
整體架構涉及到15個節點，我們這裏使用Docker容器進行部署
那麼我們先來總結一下我們搭建一個高可用集羣需要多少個Mongo
-
mongos： 3台
-
configserver ： 3台
-
shard ： 3片； 每個分片由三個節點構成
容器部署情況
| 角色 | 端口 | 暴漏端口 | 描述 | 角色 |
|---|---|---|---|---|
| config-server1 | 27017 | -- | 配置節點1 | -- |
| config-server2 | 27017 | -- | 配置節點2 | -- |
| config-server3 | 27017 | -- | 配置節點3 | -- |
| mongos-server1 | 27017 | 30001 | 路由節點1 | -- |
| mongos-server2 | 27017 | 30002 | 路由節點2 | -- |
| mongos-server3 | 27017 | 30003 | 路由節點3 | -- |
| shard1-server1 | 27017 | -- | 分片1節點1 | Primary |
| shard1-server2 | 27017 | -- | 分片1節點2 | Secondry |
| shard1-server3 | 27017 | -- | 分片1節點3 | Arbiter |
| shard2-server1 | 27017 | -- | 分片2節點1 | Primary |
| shard2-server2 | 27017 | -- | 分片2節點2 | Secondry |
| shard2-server3 | 27017 | -- | 分片2節點3 | Arbiter |
| shard3-server1 | 27017 | -- | 分片3節點1 | Primary |
| shard3-server2 | 27017 | -- | 分片3節點2 | Secondry |
| shard3-server3 | 27017 | -- | 分片3節點3 | Arbiter |
整體架構預覽
基礎環境準備
安裝Docker
本次使用Docker環境進行搭建，需要提前準備好Docker環境
創建Docker網絡
因為需要使用Docker搭建MongoDB集羣，所以先創建Docker網絡
docker network create mongo-cluster
docker network ls
搭建ConfigServer副本集
我們先來搭建ConfigServer的副本集，這裏面涉及到三個節點，我們需要創建配置文件以及啟動容器
創建掛載目錄
我們需要創建對應的掛載目錄來存儲配置文件以及日誌文件
# 創建配置文件目錄
mkdir -p /tmp/mongo-cluster/config-server/conf
# 創建數據文件目錄
mkdir -p /tmp/mongo-cluster/config-server/data/{1..3}
# 創建日誌文件目錄
mkdir -p /tmp/mongo-cluster/config-server/logs/{1..3}
創建密鑰文件
因為我們知道搭建的話一定要高可用，而且一定要權限，這裏mongo之間通信採用祕鑰文件，所以我們先進行生成密鑰文件
# 創建密鑰文件
openssl rand -base64 756 > /tmp/mongo-cluster/config-server/conf/mongo.key
# 設置
chmod 600 /tmp/mongo-cluster/config-server/conf/mongo.key
創建配置文件
因為由多個容器，配置文件是一樣的，我們只需要創建一個配置文件，其他的容器統一讀取該配置文件即可
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: configsvr #副本集名稱
sharding:
clusterRole: configsvr # 集羣角色，這裏配置的角色是配置節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/config-server/conf/mongo.conf
啟動容器
啟動config-server1
docker run --name config-server1 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/config-server:/data/configdb \
-v /tmp/mongo-cluster/config-server/data/1:/data/db \
-v /tmp/mongo-cluster/config-server/logs/1:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動config-server2
docker run --name config-server2 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/config-server:/data/configdb \
-v /tmp/mongo-cluster/config-server/data/2:/data/db \
-v /tmp/mongo-cluster/config-server/logs/2:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動config-server3
docker run --name config-server3 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/config-server:/data/configdb \
-v /tmp/mongo-cluster/config-server/data/3:/data/db \
-v /tmp/mongo-cluster/config-server/logs/3:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
初始化config-server
登錄容器
進入第一台容器
docker exec -it config-server1 bash
mongo -port 27017
執行命令
執行以下命令進行MongoDB容器的初始化
rs.initiate(
{
_id: "configsvr",
members: [
{ _id : 1, host : "config-server1:27017" },
{ _id : 2, host : "config-server2:27017" },
{ _id : 3, host : "config-server3:27017" }
]
}
)
如果出現
OK表示MongoDB配置服務器已經初始化成功
創建用户
因為我們需要對用户進行權限管理，我們需要創建用户，這裏為了演示，我們創建超級用户 權限是
root
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
這樣就在MongoDB的
admin數據庫添加了一個用户名為root 密碼是root的用户
搭建Shard分片組
由於mongos是客户端，所以我們先搭建好config以及shard之後再搭建mongos。
創建掛載目錄
我們先創建掛載目錄
# 創建配置文件目錄
mkdir -p /tmp/mongo-cluster/shard{1..3}-server/conf
# 創建數據文件目錄
mkdir -p /tmp/mongo-cluster/shard{1..3}-server/data/{1..3}
# 創建日誌文件目錄
mkdir -p /tmp/mongo-cluster/shard{1..3}-server/logs/{1..3}
搭建shard1分片組
在同一台服務器上初始化一組分片
創建密鑰文件
因為集羣只需要一個密鑰文件，我們可以將
config-server中的密鑰文件複製過來
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/shard1-server/conf/
配置配置文件
因為有多個容器，配置文件是一樣的，我們只需要創建一個配置文件，其他的容器統一讀取該配置文件即可
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: shard1 #複製集名稱是 shardsvr
sharding:
clusterRole: shardsvr # 集羣角色，這裏配置的角色是分片節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/shard1-server/conf/mongo.conf
啟動shard1-server1
docker run --name shard1-server1 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard1-server:/data/configdb \
-v /tmp/mongo-cluster/shard1-server/data/1:/data/db \
-v /tmp/mongo-cluster/shard1-server/logs/1:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動shard1-server2
docker run --name shard1-server2 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard1-server:/data/configdb \
-v /tmp/mongo-cluster/shard1-server/data/2:/data/db \
-v /tmp/mongo-cluster/shard1-server/logs/2:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動shard1-server3
docker run --name shard1-server3 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard1-server:/data/configdb \
-v /tmp/mongo-cluster/shard1-server/data/3:/data/db \
-v /tmp/mongo-cluster/shard1-server/logs/3:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
初始化shard1分片組
並且制定第三個副本集為仲裁節點
docker exec -it shard1-server1 bin/bash
mongo -port 27017
登錄後進行初始化節點，這裏面
arbiterOnly:true是設置為仲裁節點
#進行副本集配置
rs.initiate(
{
_id : "shard1",
members: [
{ _id : 0, host : "shard1-server1:27017" },
{ _id : 1, host : "shard1-server2:27017" },
{ _id : 2, host : "shard1-server3:27017",arbiterOnly:true }
]
}
);
顯示OK即副本集創建成功
創建用户
因為我們需要對用户進行權限管理，我們需要創建用户，這裏為了演示，我們創建超級用户 權限是
root
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
查看節點信息
rs.isMaster()
搭建shard2分片組
創建密鑰文件
因為集羣只需要一個密鑰文件，我們可以將
config-server中的密鑰文件複製過來
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/shard2-server/conf/
配置配置文件
因為有多個容器，配置文件是一樣的，我們只需要創建一個配置文件，其他的容器統一讀取該配置文件即可
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: shard2 #複製集名稱是 shard2
sharding:
clusterRole: shardsvr # 集羣角色，這裏配置的角色是分片節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/shard2-server/conf/mongo.conf
啟動shard2-server1
docker run --name shard2-server1 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard2-server:/data/configdb \
-v /tmp/mongo-cluster/shard2-server/data/1:/data/db \
-v /tmp/mongo-cluster/shard2-server/logs/1:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動shard2-server2
docker run --name shard2-server2 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard2-server:/data/configdb \
-v /tmp/mongo-cluster/shard2-server/data/2:/data/db \
-v /tmp/mongo-cluster/shard2-server/logs/2:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動shard2-server3
docker run --name shard2-server3 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard2-server:/data/configdb \
-v /tmp/mongo-cluster/shard2-server/data/3:/data/db \
-v /tmp/mongo-cluster/shard2-server/logs/3:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
初始化shard2分片組
登錄節點後進行初始化分片2
docker exec -it shard2-server1 bin/bash
mongo -port 27017
執行下面的命令進行初始化分片2，
arbiterOnly:true參數是設置為仲裁節點
#進行副本集配置
rs.initiate(
{
_id : "shard2",
members: [
{ _id : 0, host : "shard2-server1:27017" },
{ _id : 1, host : "shard2-server2:27017" },
{ _id : 2, host : "shard2-server3:27017",arbiterOnly:true }
]
}
);
返回
ok就表示
創建用户
因為我們需要對用户進行權限管理，我們需要創建用户，這裏為了演示，我們創建超級用户 權限是
root
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
搭建shard3分片組
創建密鑰文件
因為集羣只需要一個密鑰文件，我們可以將
config-server中的密鑰文件複製過來
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/shard3-server/conf/
配置配置文件
因為有多個容器，配置文件是一樣的，我們只需要創建一個配置文件，其他的容器統一讀取該配置文件即可
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: shard3 #複製集名稱是 shard3
sharding:
clusterRole: shardsvr # 集羣角色，這裏配置的角色是分片節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/shard3-server/conf/mongo.conf
啟動shard3-server1
docker run --name shard3-server1 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard3-server:/data/configdb \
-v /tmp/mongo-cluster/shard3-server/data/1:/data/db \
-v /tmp/mongo-cluster/shard3-server/logs/1:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動shard3-server2
docker run --name shard3-server2 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard3-server:/data/configdb \
-v /tmp/mongo-cluster/shard3-server/data/2:/data/db \
-v /tmp/mongo-cluster/shard3-server/logs/2:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動shard3-server3
docker run --name shard3-server3 -d \
--net=mongo-cluster \
--privileged=true \
-v /tmp/mongo-cluster/shard3-server:/data/configdb \
-v /tmp/mongo-cluster/shard3-server/data/3:/data/db \
-v /tmp/mongo-cluster/shard3-server/logs/3:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
初始化shard3分片組
登錄節點後進行初始化分片2
docker exec -it shard3-server1 bin/bash
mongo -port 27017
執行下面的命令進行初始化分片3，
arbiterOnly:true參數是設置為仲裁節點
#進行副本集配置
rs.initiate(
{
_id : "shard3",
members: [
{ _id : 0, host : "shard3-server1:27017" },
{ _id : 1, host : "shard3-server2:27017" },
{ _id : 2, host : "shard3-server3:27017",arbiterOnly:true }
]
}
);
創建用户
因為我們需要對用户進行權限管理，我們需要創建用户，這裏為了演示，我們創建超級用户 權限是
root
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
搭建Mongos
mongos負責查詢與數據寫入的路由，是實例訪問的統一入口，是一個無狀態的節點，每一個節點都可以從
config-server節點獲取到配置信息
創建掛載目錄
我們需要創建對應的掛載目錄來存儲配置文件以及日誌文件
# 創建配置文件目錄
mkdir -p /tmp/mongo-cluster/mongos-server/conf
# 創建數據文件目錄
mkdir -p /tmp/mongo-cluster/mongos-server/data/{1..3}
# 創建日誌文件目錄
mkdir -p /tmp/mongo-cluster/mongos-server/logs/{1..3}
創建密鑰文件
因為集羣只需要一個密鑰文件，我們可以將
config-server中的密鑰文件複製過來
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/mongos-server/conf/
創建配置文件
因為有多個容器，配置文件是一樣的，我們只需要創建一個配置文件，其他的容器統一讀取該配置文件即可,因為Mongos只負責路由，就不需要數據文件了，並且mongos服務是不負責認證的，需要將
authorization配置項刪除
echo "
# 日誌文件
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
# 配置分片，這裏面配置的是需要讀取的配置節點的信息
sharding:
configDB: configsvr/config-server1:27017,config-server2:27017,config-server3:27017
security:
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/mongos-server/conf/mongo.conf
啟動mongos集羣
啟動mongos1
docker run --name mongos-server1 -d \
-p 30001:27017 \
--net=mongo-cluster \
--privileged=true \
--entrypoint "mongos" \
-v /tmp/mongo-cluster/mongos-server:/data/configdb \
-v /tmp/mongo-cluster/mongos-server/logs/1:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動mongos2
docker run --name mongos-server2 -d \
-p 30002:27017 \
--net=mongo-cluster \
--privileged=true \
--entrypoint "mongos" \
-v /tmp/mongo-cluster/mongos-server:/data/configdb \
-v /tmp/mongo-cluster/mongos-server/logs/2:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
啟動mongos3
docker run --name mongos-server3 -d \
-p 30003:27017 \
--net=mongo-cluster \
--privileged=true \
--entrypoint "mongos" \
-v /tmp/mongo-cluster/mongos-server:/data/configdb \
-v /tmp/mongo-cluster/mongos-server/logs/3:/data/logs \
mongo --config /data/configdb/conf/mongo.conf
配置mongos-server1
因為
mongos是無中心的配置，所有需要每一台都需要進行分片配置
進入容器
docker exec -it mongos-server1 /bin/bash
mongo -port 27017
登錄Mongos
使用前面設置的root用户密碼
use admin;
db.auth("root","root");
配置分片
進行配置分片信息
sh.addShard("shard1/shard1-server1:27017,shard1-server2:27017,shard1-server3:27017")
sh.addShard("shard2/shard2-server1:27017,shard2-server2:27017,shard2-server3:27017")
sh.addShard("shard3/shard3-server1:27017,shard3-server2:27017,shard3-server3:27017")
配置mongos-server2
因為
mongos是無中心的配置，所有需要每一台都需要進行分片配置
進入容器
docker exec -it mongos-server2 /bin/bash
mongo -port 27017
登錄Mongos
使用前面設置的root用户密碼
use admin;
db.auth("root","root");
配置分片
進行配置分片信息
sh.addShard("shard1/shard1-server1:27017,shard1-server2:27017,shard1-server3:27017")
sh.addShard("shard2/shard2-server1:27017,shard2-server2:27017,shard2-server3:27017")
sh.addShard("shard3/shard3-server1:27017,shard3-server2:27017,shard3-server3:27017")
配置mongos-server3
因為
mongos是無中心的配置，所有需要每一台都需要進行分片配置
進入容器
docker exec -it mongos-server3 /bin/bash
mongo -port 27017
登錄Mongos
使用前面設置的root用户密碼
use admin;
db.auth("root","root");
配置分片
進行配置分片信息
sh.addShard("shard1/shard1-server1:27017,shard1-server2:27017,shard1-server3:27017")
sh.addShard("shard2/shard2-server1:27017,shard2-server2:27017,shard2-server3:27017")
sh.addShard("shard3/shard3-server1:27017,shard3-server2:27017,shard3-server3:27017")
Docker-compose方式搭建
環境準備
初始化目錄腳本
# 創建config-server 目錄
# 創建配置文件目錄
mkdir -p /tmp/mongo-cluster/config-server/conf
# 創建數據文件目錄
mkdir -p /tmp/mongo-cluster/config-server/data/{1..3}
# 創建日誌文件目錄
mkdir -p /tmp/mongo-cluster/config-server/logs/{1..3}
# 創建shard-server 目錄
# 創建配置文件目錄
mkdir -p /tmp/mongo-cluster/shard{1..3}-server/conf
# 創建數據文件目錄
mkdir -p /tmp/mongo-cluster/shard{1..3}-server/data/{1..3}
# 創建日誌文件目錄
mkdir -p /tmp/mongo-cluster/shard{1..3}-server/logs/{1..3}
# 創建mongos-server 目錄
# 創建配置文件目錄
mkdir -p /tmp/mongo-cluster/mongos-server/conf
# 創建數據文件目錄
mkdir -p /tmp/mongo-cluster/mongos-server/data/{1..3}
# 創建日誌文件目錄
mkdir -p /tmp/mongo-cluster/mongos-server/logs/{1..3}
生成密鑰文件
# 創建密鑰文件
openssl rand -base64 756 > /tmp/mongo-cluster/config-server/conf/mongo.key
# 設置
chmod 600 /tmp/mongo-cluster/config-server/conf/mongo.key
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/shard1-server/conf/
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/shard2-server/conf/
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/shard3-server/conf/
cp /tmp/mongo-cluster/config-server/conf/mongo.key /tmp/mongo-cluster/mongos-server/conf/
創建配置文件
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: configsvr #副本集名稱
sharding:
clusterRole: configsvr # 集羣角色，這裏配置的角色是配置節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/config-server/conf/mongo.conf
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: shard1 #複製集名稱是 shardsvr
sharding:
clusterRole: shardsvr # 集羣角色，這裏配置的角色是分片節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/shard1-server/conf/mongo.conf
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: shard2 #複製集名稱是 shard2
sharding:
clusterRole: shardsvr # 集羣角色，這裏配置的角色是分片節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/shard2-server/conf/mongo.conf
echo "
# 日誌文件
storage:
# mongod 進程存儲數據目錄，此配置僅對 mongod 進程有效
dbPath: /data/db
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
# bindIp: 127.0.0.1 #綁定ip
replication:
replSetName: shard3 #複製集名稱是 shard3
sharding:
clusterRole: shardsvr # 集羣角色，這裏配置的角色是分片節點
security:
authorization: enabled #是否開啟認證
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/shard3-server/conf/mongo.conf
echo "
# 日誌文件
systemLog:
destination: file
logAppend: true
path: /data/logs/mongo.log
# 網絡設置
net:
port: 27017 #端口號
bindIp: 0.0.0.0 #綁定ip
# 配置分片，這裏面配置的是需要讀取的配置節點的信息
sharding:
configDB: configsvr/config-server1:27017,config-server2:27017,config-server3:27017
security:
keyFile: /data/configdb/conf/mongo.key #keyFile路徑
" > /tmp/mongo-cluster/mongos-server/conf/mongo.conf
啟動服務
docker-compos配置文件
使用docker-compos方式啟動Docker容器
version: '2'
services:
config-server1:
image: mongo
container_name: config-server1
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/config-server:/data/configdb
- /tmp/mongo-cluster/config-server/data/1:/data/db
- /tmp/mongo-cluster/config-server/logs/1:/data/logs
config-server2:
image: mongo
container_name: config-server2
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/config-server:/data/configdb
- /tmp/mongo-cluster/config-server/data/2:/data/db
- /tmp/mongo-cluster/config-server/logs/2:/data/logs
config-server3:
image: mongo
container_name: config-server3
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/config-server:/data/configdb
- /tmp/mongo-cluster/config-server/data/3:/data/db
- /tmp/mongo-cluster/config-server/logs/3:/data/logs
shard1-server1:
image: mongo
container_name: shard1-server1
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard1-server:/data/configdb
- /tmp/mongo-cluster/shard1-server/data/1:/data/db
- /tmp/mongo-cluster/shard1-server/logs/1:/data/logs
shard1-server2:
image: mongo
container_name: shard1-server2
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard1-server:/data/configdb
- /tmp/mongo-cluster/shard1-server/data/2:/data/db
- /tmp/mongo-cluster/shard1-server/logs/2:/data/logs
shard1-server3:
image: mongo
container_name: shard1-server3
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard1-server:/data/configdb
- /tmp/mongo-cluster/shard1-server/data/3:/data/db
- /tmp/mongo-cluster/shard1-server/logs/3:/data/logs
shard2-server1:
image: mongo
container_name: shard2-server1
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard2-server:/data/configdb
- /tmp/mongo-cluster/shard2-server/data/1:/data/db
- /tmp/mongo-cluster/shard2-server/logs/1:/data/logs
shard2-server2:
image: mongo
container_name: shard2-server2
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard2-server:/data/configdb
- /tmp/mongo-cluster/shard2-server/data/2:/data/db
- /tmp/mongo-cluster/shard2-server/logs/2:/data/logs
shard2-server3:
image: mongo
container_name: shard2-server3
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard2-server:/data/configdb
- /tmp/mongo-cluster/shard2-server/data/3:/data/db
- /tmp/mongo-cluster/shard2-server/logs/3:/data/logs
shard3-server1:
image: mongo
container_name: shard3-server1
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard3-server:/data/configdb
- /tmp/mongo-cluster/shard3-server/data/1:/data/db
- /tmp/mongo-cluster/shard3-server/logs/1:/data/logs
shard3-server2:
image: mongo
container_name: shard3-server2
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard3-server:/data/configdb
- /tmp/mongo-cluster/shard3-server/data/2:/data/db
- /tmp/mongo-cluster/shard3-server/logs/2:/data/logs
shard3-server3:
image: mongo
container_name: shard3-server3
privileged: true
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/shard3-server:/data/configdb
- /tmp/mongo-cluster/shard3-server/data/3:/data/db
- /tmp/mongo-cluster/shard3-server/logs/3:/data/logs
mongos-server1:
image: mongo
container_name: mongos-server1
privileged: true
entrypoint: "mongos"
networks:
- mongo-cluster-network
command: --config /data/configdb/conf/mongo.conf
ports:
- "30001:27017"
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/mongos-server:/data/configdb
- /tmp/mongo-cluster/mongos-server/logs/1:/data/logs
command: --config /data/configdb/conf/mongo.conf
mongos-server2:
image: mongo
container_name: mongos-server2
privileged: true
entrypoint: "mongos"
networks:
- mongo-cluster-network
ports:
- "30002:27017"
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/mongos-server:/data/configdb
- /tmp/mongo-cluster/mongos-server/logs/2:/data/logs
command: --config /data/configdb/conf/mongo.conf
mongos-server3:
image: mongo
container_name: mongos-server3
privileged: true
entrypoint: "mongos"
networks:
- mongo-cluster-network
ports:
- "30003:27017"
volumes:
- /etc/localtime:/etc/localtime
- /tmp/mongo-cluster/mongos-server:/data/configdb
- /tmp/mongo-cluster/mongos-server/logs/3:/data/logs
command: --config /data/configdb/conf/mongo.conf
networks:
mongo-cluster-network:
driver: bridge
啟動服務
docker-compose up -d
初始化文件
執行下面腳本進行容器初始化
docker exec -it config-server1 bash
mongo -port 27017
rs.initiate(
{
_id: "configsvr",
members: [
{ _id : 1, host : "config-server1:27017" },
{ _id : 2, host : "config-server2:27017" },
{ _id : 3, host : "config-server3:27017" }
]
}
)
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
db.auth("root","root")
db.createUser({user:"test",pwd:"test",roles:[{role:'readWrite',db:'test'}]})
docker exec -it shard1-server1 bin/bash
mongo -port 27017
#進行副本集配置
rs.initiate(
{
_id : "shard1",
members: [
{ _id : 0, host : "shard1-server1:27017" },
{ _id : 1, host : "shard1-server2:27017" },
{ _id : 2, host : "shard1-server3:27017",arbiterOnly:true }
]
}
);
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
db.auth("root","root")
db.createUser({user:"test",pwd:"test",roles:[{role:'readWrite',db:'test'}]})
docker exec -it shard2-server1 bin/bash
mongo -port 27017
#進行副本集配置
rs.initiate(
{
_id : "shard2",
members: [
{ _id : 0, host : "shard2-server1:27017" },
{ _id : 1, host : "shard2-server2:27017" },
{ _id : 2, host : "shard2-server3:27017",arbiterOnly:true }
]
}
);
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
db.auth("root","root")
db.createUser({user:"test",pwd:"test",roles:[{role:'readWrite',db:'test'}]})
docker exec -it shard3-server1 bin/bash
mongo -port 27017
#進行副本集配置
rs.initiate(
{
_id : "shard3",
members: [
{ _id : 0, host : "shard3-server1:27017" },
{ _id : 1, host : "shard3-server2:27017" },
{ _id : 2, host : "shard3-server3:27017",arbiterOnly:true }
]
}
);
use admin
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
db.auth("root","root")
db.createUser({user:"test",pwd:"test",roles:[{role:'readWrite',db:'test'}]})
初始化分片
docker exec -it mongos-server1 /bin/bash
mongo -port 27017
use admin;
db.auth("root","root");
sh.addShard("shard1/shard1-server1:27017,shard1-server2:27017,shard1-server3:27017")
sh.addShard("shard2/shard2-server1:27017,shard2-server2:27017,shard2-server3:27017")
sh.addShard("shard3/shard3-server1:27017,shard3-server2:27017,shard3-server3:27017")
docker exec -it mongos-server2 /bin/bash
mongo -port 27017
use admin;
db.auth("root","root");
sh.addShard("shard1/shard1-server1:27017,shard1-server2:27017,shard1-server3:27017")
sh.addShard("shard2/shard2-server1:27017,shard2-server2:27017,shard2-server3:27017")
sh.addShard("shard3/shard3-server1:27017,shard3-server2:27017,shard3-server3:27017")
docker exec -it mongos-server3 /bin/bash
mongo -port 27017
use admin;
db.auth("root","root");
sh.addShard("shard1/shard1-server1:27017,shard1-server2:27017,shard1-server3:27017")
sh.addShard("shard2/shard2-server1:27017,shard2-server2:27017,shard2-server3:27017")
sh.addShard("shard3/shard3-server1:27017,shard3-server2:27017,shard3-server3:27017")
本文由育博學谷狂野架構師發佈 如果本文對您有幫助，歡迎關注和點贊；如果您有任何建議也可留言評論或私信，您的支持是我堅持創作的動力 轉載請註明出處！
「其他文章」
- 【詳細教程】一文參透MongoDB聚合查詢
- 【超詳細】手把手教你搭建MongoDB集羣
- 【超詳細】手把手教你搭建MongoDB集羣
- 新一代服務網關Gateway的實踐筆記
- 手撕Nacos源碼，今日撕服務端源碼
- 超詳細教程，一文入門Istio架構原理及實戰應用
- 六種常用事務解決方案，你方唱罷，我登場（沒有最好只有更好）
- 六種常用事務解決方案，你方唱罷，我登場（沒有最好只有更好）
- 超詳細教程，一文入門Istio架構原理及實戰應用
- 【知其然，知其所以然】配置中心 Apollo源碼剖析
- 【開悟篇】Java多線程之JUC從入門到精通
- JVM調優實戰演練，媽媽再也不同擔心我的性能優化了
- 【圖解源碼】Zookeeper3.7源碼分析，包含服務啟動流程源碼、網絡通信源碼、RequestProcessor處理請求源碼
- 【推薦】我認為這是最完整的Apollo教程從入門到精通
- 探針技術-JavaAgent 和字節碼增強技術-Byte Buddy
- 探針技術-JavaAgent 和字節碼增強技術-Byte Buddy
- 想學設計模式、想搞架構設計，先學學UML系統建模吧您
- 100003字，帶你解密 雙11、618電商大促場景下的系統架構體系
- 12437字，帶你深入探究RPC通訊原理
- 12437字，帶你深入探究RPC通訊原理