Go操作etcd的實(shí)現(xiàn)示例
etcd是近幾年比較火熱的一個(gè)開(kāi)源的、分布式的鍵值對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)，提供共享配置、服務(wù)的注冊(cè)和發(fā)現(xiàn)，本文主要介紹etcd的安裝和使用。
etcdetcd介紹
etcd是使用Go語(yǔ)言開(kāi)發(fā)的一個(gè)開(kāi)源的、高可用的分布式key-value存儲(chǔ)系統(tǒng)，可以用于配置共享和服務(wù)的注冊(cè)和發(fā)現(xiàn)。
類似項(xiàng)目有zookeeper和consul。
etcd具有以下特點(diǎn)：
- 完全復(fù)制：集群中的每個(gè)節(jié)點(diǎn)都可以使用完整的存檔
- 高可用性：Etcd可用于避免硬件的單點(diǎn)故障或網(wǎng)絡(luò)問(wèn)題
- 一致性：每次讀取都會(huì)返回跨多主機(jī)的最新寫(xiě)入
- 簡(jiǎn)單：包括一個(gè)定義良好、面向用戶的API（gRPC）
- 安全：實(shí)現(xiàn)了帶有可選的客戶端證書(shū)身份驗(yàn)證的自動(dòng)化TLS
- 快速：每秒10000次寫(xiě)入的基準(zhǔn)速度
- 可靠：使用Raft算法實(shí)現(xiàn)了強(qiáng)一致、高可用的服務(wù)存儲(chǔ)目錄
etcd應(yīng)用場(chǎng)景
服務(wù)發(fā)現(xiàn)
服務(wù)發(fā)現(xiàn)要解決的也是分布式系統(tǒng)中最常見(jiàn)的問(wèn)題之一，即在同一個(gè)分布式集群中的進(jìn)程或服務(wù)，要如何才能找到對(duì)方并建立連接。本質(zhì)上來(lái)說(shuō)，服務(wù)發(fā)現(xiàn)就是想要了解集群中是否有進(jìn)程在監(jiān)聽(tīng) udp 或 tcp 端口，并且通過(guò)名字就可以查找和連接。
配置中心
將一些配置信息放到 etcd 上進(jìn)行集中管理。
這類場(chǎng)景的使用方式通常是這樣：應(yīng)用在啟動(dòng)的時(shí)候主動(dòng)從 etcd 獲取一次配置信息，同時(shí)，在 etcd 節(jié)點(diǎn)上注冊(cè)一個(gè) Watcher 并等待，以后每次配置有更新的時(shí)候，etcd 都會(huì)實(shí)時(shí)通知訂閱者，以此達(dá)到獲取最新配置信息的目的。
分布式鎖
因?yàn)?etcd 使用 Raft 算法保持了數(shù)據(jù)的強(qiáng)一致性，某次操作存儲(chǔ)到集群中的值必然是全局一致的，所以很容易實(shí)現(xiàn)分布式鎖。鎖服務(wù)有兩種使用方式，一是保持獨(dú)占，二是控制時(shí)序。
保持獨(dú)占即所有獲取鎖的用戶最終只有一個(gè)可以得到。etcd 為此提供了一套實(shí)現(xiàn)分布式鎖原子操作 CAS（CompareAndSwap）的 API。通過(guò)設(shè)置prevExist值，可以保證在多個(gè)節(jié)點(diǎn)同時(shí)去創(chuàng)建某個(gè)目錄時(shí)，只有一個(gè)成功。而創(chuàng)建成功的用戶就可以認(rèn)為是獲得了鎖。
控制時(shí)序，即所有想要獲得鎖的用戶都會(huì)被安排執(zhí)行，但是獲得鎖的順序也是全局唯一的，同時(shí)決定了執(zhí)行順序。etcd 為此也提供了一套 API（自動(dòng)創(chuàng)建有序鍵），對(duì)一個(gè)目錄建值時(shí)指定為POST動(dòng)作，這樣 etcd 會(huì)自動(dòng)在目錄下生成一個(gè)當(dāng)前最大的值為鍵，存儲(chǔ)這個(gè)新的值（客戶端編號(hào)）。同時(shí)還可以使用 API 按順序列出所有當(dāng)前目錄下的鍵值。此時(shí)這些鍵的值就是客戶端的時(shí)序，而這些鍵中存儲(chǔ)的值可以是代表客戶端的編號(hào)。
為什么用 etcd 而不用ZooKeeper？
etcd 實(shí)現(xiàn)的這些功能，ZooKeeper都能實(shí)現(xiàn)。那么為什么要用 etcd 而非直接使用ZooKeeper呢？
為什么不選擇ZooKeeper？
- 部署維護(hù)復(fù)雜，其使用的
Paxos強(qiáng)一致性算法復(fù)雜難懂。官方只提供了Java和C兩種語(yǔ)言的接口。 - 使用
Java編寫(xiě)引入大量的依賴。運(yùn)維人員維護(hù)起來(lái)比較麻煩。 - 最近幾年發(fā)展緩慢，不如
etcd和consul等后起之秀。
為什么選擇etcd？
- 簡(jiǎn)單。使用 Go 語(yǔ)言編寫(xiě)部署簡(jiǎn)單；支持HTTP/JSON API,使用簡(jiǎn)單；使用 Raft 算法保證強(qiáng)一致性讓用戶易于理解。
- etcd 默認(rèn)數(shù)據(jù)一更新就進(jìn)行持久化。
- etcd 支持 SSL 客戶端安全認(rèn)證。
最后，etcd 作為一個(gè)年輕的項(xiàng)目，正在高速迭代和開(kāi)發(fā)中，這既是一個(gè)優(yōu)點(diǎn)，也是一個(gè)缺點(diǎn)。優(yōu)點(diǎn)是它的未來(lái)具有無(wú)限的可能性，缺點(diǎn)是無(wú)法得到大項(xiàng)目長(zhǎng)時(shí)間使用的檢驗(yàn)。然而，目前 CoreOS、Kubernetes和CloudFoundry等知名項(xiàng)目均在生產(chǎn)環(huán)境中使用了etcd，所以總的來(lái)說(shuō)，etcd值得你去嘗試。
etcd集群
etcd 作為一個(gè)高可用鍵值存儲(chǔ)系統(tǒng)，天生就是為集群化而設(shè)計(jì)的。由于 Raft 算法在做決策時(shí)需要多數(shù)節(jié)點(diǎn)的投票，所以 etcd 一般部署集群推薦奇數(shù)個(gè)節(jié)點(diǎn)，推薦的數(shù)量為 3、5 或者 7 個(gè)節(jié)點(diǎn)構(gòu)成一個(gè)集群。
搭建一個(gè)3節(jié)點(diǎn)集群示例：
在每個(gè)etcd節(jié)點(diǎn)指定集群成員，為了區(qū)分不同的集群最好同時(shí)配置一個(gè)獨(dú)一無(wú)二的token。
下面是提前定義好的集群信息，其中n1、n2和n3表示3個(gè)不同的etcd節(jié)點(diǎn)。
TOKEN=token-01 CLUSTER_STATE=new CLUSTER=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0.19:2380
在n1這臺(tái)機(jī)器上執(zhí)行以下命令來(lái)啟動(dòng)etcd：
etcd --data-dir=data.etcd --name n1 \
--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
--initial-cluster ${CLUSTER} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
在n2這臺(tái)機(jī)器上執(zhí)行以下命令啟動(dòng)etcd：
etcd --data-dir=data.etcd --name n2 \
--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
--initial-cluster ${CLUSTER} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
在n3這臺(tái)機(jī)器上執(zhí)行以下命令啟動(dòng)etcd：
etcd --data-dir=data.etcd --name n3 \
--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http://10.240.0.19:2379 \
--initial-cluster ${CLUSTER} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
etcd 官網(wǎng)提供了一個(gè)可以公網(wǎng)訪問(wèn)的 etcd 存儲(chǔ)地址。你可以通過(guò)如下命令得到 etcd 服務(wù)的目錄，并把它作為-discovery參數(shù)使用。
curl https://discovery.etcd.io/new?size=3
https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
# grab this token
TOKEN=token-01
CLUSTER_STATE=new
DISCOVERY=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
etcd --data-dir=data.etcd --name n1 \
--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
--discovery ${DISCOVERY} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
etcd --data-dir=data.etcd --name n2 \
--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
--discovery ${DISCOVERY} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
etcd --data-dir=data.etcd --name n3 \
--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http:/10.240.0.19:2379 \
--discovery ${DISCOVERY} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
到此etcd集群就搭建起來(lái)了，可以使用etcdctl來(lái)連接etcd。
export ETCDCTL_API=3 HOST_1=10.240.0.17 HOST_2=10.240.0.18 HOST_3=10.240.0.19 ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 etcdctl --endpoints=$ENDPOINTS member lis
Go語(yǔ)言操作etcd
這里使用官方的etcd/clientv3包來(lái)連接etcd并進(jìn)行相關(guān)操作。
安裝
go get go.etcd.io/etcd/clientv3
put和get操作
put命令用來(lái)設(shè)置鍵值對(duì)數(shù)據(jù)，get命令用來(lái)根據(jù)key獲取值。
package main
import (
"context"
"fmt"
"time"
"go.etcd.io/etcd/clientv3"
)
// etcd client put/get demo
// use etcd/clientv3
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
// handle error!
fmt.Printf("connect to etcd failed, err:%v\n", err)
return
}
fmt.Println("connect to etcd success")
defer cli.Close()
// put
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
_, err = cli.Put(ctx, "q1mi", "dsb")
cancel()
if err != nil {
fmt.Printf("put to etcd failed, err:%v\n", err)
return
}
// get
ctx, cancel = context.WithTimeout(context.Background(), time.Second)
resp, err := cli.Get(ctx, "q1mi")
cancel()
if err != nil {
fmt.Printf("get from etcd failed, err:%v\n", err)
return
}
for _, ev := range resp.Kvs {
fmt.Printf("%s:%s\n", ev.Key, ev.Value)
}
}
watch操作
watch用來(lái)獲取未來(lái)更改的通知。
package main
import (
"context"
"fmt"
"time"
"go.etcd.io/etcd/clientv3"
)
// watch demo
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
fmt.Printf("connect to etcd failed, err:%v\n", err)
return
}
fmt.Println("connect to etcd success")
defer cli.Close()
// watch key:q1mi change
rch := cli.Watch(context.Background(), "q1mi") // <-chan WatchResponse
for wresp := range rch {
for _, ev := range wresp.Events {
fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
}
}
}
將上面的代碼保存編譯執(zhí)行，此時(shí)程序就會(huì)等待etcd中q1mi這個(gè)key的變化。
例如：我們打開(kāi)終端執(zhí)行以下命令修改、刪除、設(shè)置q1mi這個(gè)key。
etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb2" OK etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 del q1mi 1 etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb3" OK
上面的程序都能收到如下通知。
watch>watch.exe connect to etcd success Type: PUT Key:q1mi Value:dsb2 Type: DELETE Key:q1mi Value: Type: PUT Key:q1mi Value:dsb3
lease租約
package main
import (
"fmt"
"time"
)
// etcd lease
import (
"context"
"log"
"go.etcd.io/etcd/clientv3"
)
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: time.Second * 5,
})
if err != nil {
log.Fatal(err)
}
fmt.Println("connect to etcd success.")
defer cli.Close()
// 創(chuàng)建一個(gè)5秒的租約
resp, err := cli.Grant(context.TODO(), 5)
if err != nil {
log.Fatal(err)
}
// 5秒鐘之后, /nazha/ 這個(gè)key就會(huì)被移除
_, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
if err != nil {
log.Fatal(err)
}
}
keepAlive
package main
import (
"context"
"fmt"
"log"
"time"
"go.etcd.io/etcd/clientv3"
)
// etcd keepAlive
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: time.Second * 5,
})
if err != nil {
log.Fatal(err)
}
fmt.Println("connect to etcd success.")
defer cli.Close()
resp, err := cli.Grant(context.TODO(), 5)
if err != nil {
log.Fatal(err)
}
_, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
if err != nil {
log.Fatal(err)
}
// the key 'foo' will be kept forever
ch, kaerr := cli.KeepAlive(context.TODO(), resp.ID)
if kaerr != nil {
log.Fatal(kaerr)
}
for {
ka := <-ch
fmt.Println("ttl:", ka.TTL)
}
}
基于etcd實(shí)現(xiàn)分布式鎖
go.etcd.io/etcd/clientv3/concurrency在etcd之上實(shí)現(xiàn)并發(fā)操作，如分布式鎖、屏障和選舉。
導(dǎo)入該包：
import "go.etcd.io/etcd/clientv3/concurrency"
基于etcd實(shí)現(xiàn)的分布式鎖示例：
cli, err := clientv3.New(clientv3.Config{Endpoints: endpoints})
if err != nil {
log.Fatal(err)
}
defer cli.Close()
// 創(chuàng)建兩個(gè)單獨(dú)的會(huì)話用來(lái)演示鎖競(jìng)爭(zhēng)
s1, err := concurrency.NewSession(cli)
if err != nil {
log.Fatal(err)
}
defer s1.Close()
m1 := concurrency.NewMutex(s1, "/my-lock/")
s2, err := concurrency.NewSession(cli)
if err != nil {
log.Fatal(err)
}
defer s2.Close()
m2 := concurrency.NewMutex(s2, "/my-lock/")
// 會(huì)話s1獲取鎖
if err := m1.Lock(context.TODO()); err != nil {
log.Fatal(err)
}
fmt.Println("acquired lock for s1")
m2Locked := make(chan struct{})
go func() {
defer close(m2Locked)
// 等待直到會(huì)話s1釋放了/my-lock/的鎖
if err := m2.Lock(context.TODO()); err != nil {
log.Fatal(err)
}
}()
if err := m1.Unlock(context.TODO()); err != nil {
log.Fatal(err)
}
fmt.Println("released lock for s1")
<-m2Locked
fmt.Println("acquired lock for s2")
輸出：
acquired lock for s1
released lock for s1
acquired lock for s2
其他操作
其他操作請(qǐng)查看etcd/clientv3官方文檔。
參考鏈接：
https://etcd.io/docs/v3.3.12/demo/
https://www.infoq.cn/article/etcd-interpretation-application-scenario-implement-principle/ 代碼改變世界，腳踏實(shí)地，python、Golang。
到此這篇關(guān)于Go操作etcd的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)Go操作etcd內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
協(xié)同開(kāi)發(fā)巧用gitignore中間件避免網(wǎng)絡(luò)請(qǐng)求攜帶登錄信息
這篇文章主要為大家介紹了協(xié)同開(kāi)發(fā)巧用gitignore中間件避免網(wǎng)絡(luò)請(qǐng)求攜帶登錄信息2022-06-06
這篇文章主要介紹了golang中net的tcp服務(wù)使用，文章通過(guò)服務(wù)端監(jiān)聽(tīng)端口 展開(kāi)主題的詳細(xì)內(nèi)容，具有一定的參考價(jià)值，需要的 小伙伴可以參考一下2022-04-04
golang跳轉(zhuǎn)語(yǔ)句goto,break,continue的使用及區(qū)別說(shuō)明
這篇文章主要介紹了golang跳轉(zhuǎn)語(yǔ)句goto,break,continue的使用及區(qū)別說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-12-12
本文主要介紹了Golang中Json的序列化和反序列化的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-04-04
這篇文章主要為大家詳細(xì)介紹了Go語(yǔ)言如何利用viper實(shí)現(xiàn)讀取配置文件,文中的示例代碼講解詳細(xì),具有一定的借鑒價(jià)值,需要的可以參考一下2023-08-08
Go實(shí)現(xiàn)分布式系統(tǒng)高可用限流器實(shí)戰(zhàn)
這篇文章主要為大家介紹了Go實(shí)現(xiàn)分布式系統(tǒng)高可用限流器實(shí)戰(zhàn)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
Go Grpc Gateway兼容HTTP協(xié)議文檔自動(dòng)生成網(wǎng)關(guān)
這篇文章主要為大家介紹了Go Grpc Gateway兼容HTTP協(xié)議文檔自動(dòng)生成網(wǎng)關(guān)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
golang1.23版本之前 Timer Reset方法無(wú)法正確使用
在Go 1.23之前,使用`time.Reset`函數(shù)時(shí)需要先調(diào)用`Stop`并明確從timer的channel中抽取出東西,以避免潛在的問(wèn)題,然而,這在實(shí)際代碼中難以實(shí)現(xiàn),因?yàn)樵O(shè)置定時(shí)器狀態(tài)和發(fā)送channel的操作并不是原子的,在某些情況下,這會(huì)導(dǎo)致timer在不應(yīng)該觸發(fā)時(shí)提前觸發(fā)2025-01-01
這篇文章主要介紹了Golang通脈之map，Go語(yǔ)言中提供的映射關(guān)系容器為map，其內(nèi)部使用散列表（hash）實(shí)現(xiàn)，map 是一種無(wú)序的鍵值對(duì)的集合。map 最重要的一點(diǎn)是通過(guò) key 來(lái)快速檢索數(shù)據(jù)，key 類似于索引，指向數(shù)據(jù)的值 map 是一種集合，所以可以像迭代數(shù)組和切片那樣迭代它2021-10-10
在日常開(kāi)發(fā)中,比較操作是最常用的基本操作之一,可以用來(lái)判斷變量之間是否相等或者對(duì)應(yīng)的大小關(guān)系,本文將深入解析 Golang 中可比較的數(shù)據(jù)類型,并結(jié)合代碼示例來(lái)說(shuō)明如何在不同情況下進(jìn)行比較,需要的朋友可以參考下2024-01-01