Nginx?ingress?controller高可用的實(shí)現(xiàn)
更新時(shí)間：2024年06月06日 09:44:27 作者：不知名運(yùn)維:
本文主要介紹了Nginx?ingress?controller高可用的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
前提準(zhǔn)備
既然要實(shí)現(xiàn)ingress controller的高可用必須是多實(shí)例部署ingress，這里我們可以使用Daemonset+nodeseletor的模式進(jìn)行部署多實(shí)例，這樣就可以將ingress部署多個(gè)實(shí)例且能根據(jù)標(biāo)簽選擇固定node(IP);
1.修改Ingress-Controller 運(yùn)行模式為hostNetwork并生效
apiVersion: apps/v1
kind: DaemonSet
metadata:
labels:
app.kubernetes.io/component: controller
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
app.kubernetes.io/version: 1.3.0
name: ingress-nginx-controller
namespace: ingress-nginx
spec:
minReadySeconds: 0
revisionHistoryLimit: 10
...
spec:
#共享宿主機(jī)的網(wǎng)絡(luò)協(xié)議棧(不給ingress controller分配獨(dú)立的網(wǎng)路命名空間，與宿主機(jī)網(wǎng)絡(luò)命名空間共享)
hostNetwork: True
containers:
- args:
- /nginx-ingress-controller
- --election-id=ingress-controller-leader
- --controller-class=k8s.io/ingress-nginx
- --ingress-class=nginx
- --configmap=$(POD_NAMESPACE)/ingress-nginx-controller
- --validating-webhook=:8443
- --validating-webhook-certificate=/usr/local/certificates/cert
- --validating-webhook-key=/usr/local/certificates/key
...
volumeMounts:
- mountPath: /usr/local/certificates/
name: webhook-cert
readOnly: true
dnsPolicy: ClusterFirst
#添加節(jié)點(diǎn)調(diào)度器
nodeSelector:
#節(jié)點(diǎn)上含有的標(biāo)簽
ingress: "yes"
serviceAccountName: ingress-nginx
terminationGracePeriodSeconds: 300
volumes:
- name: webhook-cert
secret:
secretName: ingress-nginx-admission
2.給部署ingress-controller的節(jié)點(diǎn)打標(biāo)簽
[root@k8s-master ~]# kubectl label nodes/k8s-node1 ingress=yes [root@k8s-master ~]# kubectl label nodes/k8s-node2 ingress=yes
3.查看ingress-controller的部署情況
[root@k8s-master ~]# kubectl get pod -n ingress-nginx -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES ingress-nginx-admission-create-7gnc4 0/1 Completed 0 59d 10.244.107.200 k8s-node3 <none> <none> ingress-nginx-admission-patch-ldmt4 0/1 Completed 0 59d 10.244.107.199 k8s-node3 <none> <none> ingress-nginx-controller-qcfj8 1/1 Running 1 14d 192.168.1.3 k8s-node2 <none> <none> ingress-nginx-controller-zf5vd 1/1 Running 2 14d 192.168.1.2 k8s-node1 <none> <none>
方式一：LVS+Keepalived+Nginx+Ingress
| server | IP |
|---|---|
| lvs01-master(keepalived) | 192.168.1.5 |
| lvs02-slave(keepalived) | 192.168.1.6 |
| nginx01 | 192.168.1.7 |
| nginx02 | 192.168.1.8 |
| ingress-ngx-controller01 | 192.168.1.2 |
| ingress-ngx-controller02 | 192.168.1.3 |
工作流程：
1、當(dāng)客戶端請(qǐng)求web2.study.com我們的服務(wù)時(shí)，DNS會(huì)解析出這個(gè)域名對(duì)應(yīng)的IP為47.9x.5x.xx；
2、然后根據(jù)路由器上的nat將47.9x.5x.xx的請(qǐng)求都轉(zhuǎn)發(fā)至VIP讓LVS進(jìn)行處理；
3、lvs(四層)再根據(jù)負(fù)載策略(這里是rr)將請(qǐng)求轉(zhuǎn)發(fā)至后端服務(wù)器（nginx01，02）
4、nginx(七層)接收到請(qǐng)求后 根據(jù)相應(yīng)的域名(這里可以設(shè)置泛域名) 轉(zhuǎn)發(fā)至ingress處理；
ps：這里加nginx主要進(jìn)行七層負(fù)載，根據(jù)客戶端請(qǐng)求的域名來(lái)進(jìn)行處理，代理ingress的同時(shí)，也可以當(dāng)作正常的nginx(添加相應(yīng)的vhost就行)處理業(yè)務(wù)；
一、部署ipvsadm和keepalived
lvs01和lvs02節(jié)點(diǎn)都部署
[root@localhost ~]# yum install ipvsadm keepalived
二、配置keepalived
1.配置lvs01(keepalived master)
[root@lvs01-master ~]# vim /etc/keepalived/keepalived.conf
global_defs {
# 這里將郵件設(shè)置的相關(guān)信息都注釋掉了
# router_id是keepalived的一個(gè)標(biāo)識(shí)，最好不同的keepalived配置成不一樣
router_id LVS_DEVEL_MASTER
}
vrrp_instance VI_1 {
# MASTER表示是主節(jié)點(diǎn)，備份節(jié)點(diǎn)是BACKUP
state MASTER
# 工作接口用于選舉，這里寫網(wǎng)卡名稱，這個(gè)不同的服務(wù)器，可能有所不同
interface ens33
# vrrp虛擬路由標(biāo)識(shí)，如果是一組虛擬路由內(nèi)的MASTER和BACKUP節(jié)點(diǎn)的該值要保持一致，如果是多組就定義多個(gè)，范圍0-255
virtual_router_id 51
# 優(yōu)先級(jí)，MASTER節(jié)點(diǎn)的值必須大于BACKUP的值
priority 100
# MASTER與BACKUP同步的時(shí)間間隔，單位為秒
advert_int 1
# lvs對(duì)應(yīng)的真實(shí)IP
mcast_src_ip=192.168.1.5
authentication {
auth_type PASS
auth_pass 1111
}
# 虛擬IP的地址
virtual_ipaddress {
192.168.1.188
}
}
#定義lvs集群服務(wù) 這里就相當(dāng)于設(shè)置lvs路由 也可以說(shuō)是防火墻規(guī)則，當(dāng)有請(qǐng)求來(lái)請(qǐng)求虛擬地址時(shí)轉(zhuǎn)發(fā)至下面配置的真實(shí)服務(wù)器
virtual_server 192.168.1.188 80 {
# 健康檢查的時(shí)間，單位為秒
delay_loop 6
# 負(fù)載調(diào)度算法，這里設(shè)置為rr，即輪詢算法
lb_algo rr
# 設(shè)置DR模式，返回請(qǐng)求時(shí)，不走LVS，直接返回到客戶端。
lb_kind DR
# 虛擬地址的子網(wǎng)掩碼
nat_mask 255.255.255.0
# 會(huì)話保持時(shí)間(對(duì)動(dòng)態(tài)網(wǎng)頁(yè)非常有用)，單位為秒
persistence_timeout 50
#指定轉(zhuǎn)發(fā)協(xié)議類型，有TCP和UDP兩種
protocol TCP
# 配置后端真實(shí)服務(wù)器信息（這里指ngx）
# 當(dāng)然如果只是lvs+keepalived+ingress高可用的話，在這里就可以直接寫ingress的信息
real_server 192.168.1.7 80 {
# 節(jié)點(diǎn)的權(quán)重，數(shù)字越大權(quán)重越高，被轉(zhuǎn)發(fā)至此服務(wù)器的請(qǐng)求也就相應(yīng)的多
weight 1
#realserver的狀態(tài)監(jiān)測(cè)設(shè)置 單位秒
TCP_CHECK {
# 連接超時(shí)時(shí)間
connect_timeout 3
# 重試次數(shù)
nb_get_retry 3
# 重試間隔
delay_before_retry 3
}
}
real_server 192.168.1.8 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 192.168.1.188 443 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.1.7 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.1.8 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
2.配置lvs02(keepalived backup)
[root@lvs02-slave ~]# vim /etc/keepalived/keepalived.conf
global_defs {
# 這里將郵件設(shè)置的相關(guān)信息都注釋掉了
# router_id是keepalived的一個(gè)標(biāo)識(shí)，最好不同的keepalived配置成不一樣
router_id LVS_DEVEL_BACKUP
}
vrrp_instance VI_1 {
# MASTER表示是主節(jié)點(diǎn)，備份節(jié)點(diǎn)是BACKUP
state BACKUP
# 工作接口用于選舉，這里寫網(wǎng)卡名稱，這個(gè)不同的服務(wù)器，可能有所不同
interface ens33
# vrrp虛擬路由標(biāo)識(shí)，如果是一組虛擬路由內(nèi)的MASTER和BACKUP節(jié)點(diǎn)的該值要保持一致，如果是多組就定義多個(gè)，范圍0-255
virtual_router_id 51
# 優(yōu)先級(jí)，MASTER節(jié)點(diǎn)的值必須大于BACKUP的值
priority 99
# MASTER與BACKUP同步的時(shí)間間隔，單位為秒
advert_int 1
# lvs對(duì)應(yīng)的真實(shí)IP
mcast_src_ip=192.168.1.6
authentication {
auth_type PASS
auth_pass 1111
}
# 虛擬IP的址
virtual_ipaddress {
192.168.1.188
}
}
#定義lvs集群服務(wù) 這里就相當(dāng)于設(shè)置lvs路由 也可以說(shuō)是防火墻規(guī)則，當(dāng)有請(qǐng)求來(lái)請(qǐng)求虛擬地址時(shí)轉(zhuǎn)發(fā)至下面配置的真實(shí)服務(wù)器
virtual_server 192.168.1.188 80 {
# 健康檢查的時(shí)間，單位為秒
delay_loop 6
# 負(fù)載調(diào)度算法，這里設(shè)置為rr，即輪詢算法
lb_algo rr
# 設(shè)置DR模式，返回請(qǐng)求時(shí)，不走LVS，直接返回到客戶端。
lb_kind DR
# 虛擬地址的子網(wǎng)掩碼
nat_mask 255.255.255.0
# 會(huì)話保持時(shí)間(對(duì)動(dòng)態(tài)網(wǎng)頁(yè)非常有用)，單位為秒
persistence_timeout 50
#指定轉(zhuǎn)發(fā)協(xié)議類型，有TCP和UDP兩種
protocol TCP
# 配置后端真實(shí)服務(wù)器信息（這里指ngx）
# 當(dāng)然如果只是lvs+keepalived+ingress高可用的話，在這里就可以直接寫ingress的信息
real_server 192.168.1.7 80 {
# 節(jié)點(diǎn)的權(quán)重，數(shù)字越大權(quán)重越高，被轉(zhuǎn)發(fā)至此服務(wù)器的請(qǐng)求也就相應(yīng)的多
weight 1
#realserver的狀態(tài)監(jiān)測(cè)設(shè)置 單位秒
TCP_CHECK {
# 連接超時(shí)時(shí)間
connect_timeout 3
# 重試次數(shù)
nb_get_retry 3
# 重試間隔
delay_before_retry 3
}
}
real_server 192.168.1.8 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 192.168.1.188 443 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.1.7 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.1.8 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
三、啟動(dòng)兩臺(tái)keepalived
分別啟動(dòng)兩臺(tái)keepalived并加入開機(jī)自啟后查看此時(shí)的網(wǎng)絡(luò)變化以及ipvs
[root@lvs01-master ~]# systemctl start keepalived [root@lvs01-master ~]# systemctl enable keepalived
如下狀態(tài) keepalived已經(jīng)正常運(yùn)行了，可以看到簡(jiǎn)短日志指的是健康檢查未檢測(cè)到后端真是服務(wù)器節(jié)點(diǎn)然后在ipvs中刪除了就不會(huì)路由請(qǐng)求了
在keepalived master節(jié)點(diǎn)查看網(wǎng)卡是否生成了虛擬VIP
[root@lvs01-master ~]# ip a
再查看路由轉(zhuǎn)發(fā)情況（此時(shí)的lvs01 02節(jié)點(diǎn)都會(huì)有此路由轉(zhuǎn)發(fā)的規(guī)則）
[root@lvs01-master ~]# ipvsadm -Ln
如上我們可以看到有兩條TCP規(guī)則，分別代表的是keepalived里的"virtual_server"的配置，但是現(xiàn)在他們下面沒有真實(shí)的服務(wù)器 是因?yàn)槲覀兒蠖苏鎸?shí)的服務(wù)器ngx還沒啟動(dòng)～
四、安裝ngx并配置代理ingress啟動(dòng)
ngx01 nginx02 同操作
1.yum安裝并配置ngx
[root@ngx01 ~]# yum -y install nginx nginx-all-modules
[root@ngx01 ~]# vim /etc/nginx/nginx.conf
#這里將默認(rèn)的server塊配置的端口監(jiān)聽改為除80以外的端口，因?yàn)?0端口會(huì)用來(lái)代理ingress配合keepalived做檢測(cè)
...
server {
listen 90;
listen [::]:90;
server_name _;
root /usr/share/nginx/html;
...
}
2.ngx反向代理ingress
upstream ingress-server-http{
server 192.168.1.3:80 max_fails=2 fail_timeout=30s;
server 192.168.1.2:80 max_fails=2 fail_timeout=30s;
}
upstream ingress-server-https{
server 192.168.1.3:443 max_fails=2 fail_timeout=30s;
server 192.168.1.2:443 max_fails=2 fail_timeout=30s;
}
server { # 設(shè)定虛擬主機(jī)配置
listen 80; # 監(jiān)聽的端口
server_name web2.study.com; # 監(jiān)聽的地址，多個(gè)域名用空格隔開
location / { # 默認(rèn)請(qǐng)求 ，后面 "/" 表示開啟反向代理，也可以是正則表達(dá)式
#proxy_set_header X-Real-IP $remote_addr;
#proxy_set_header X-Real-Port $remote_port;
#proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#root html; # 監(jiān)聽地址的默認(rèn)網(wǎng)站根目錄位置
proxy_set_header Host $http_host; # 重寫請(qǐng)求頭中的host字段
#proxy_set_header X-Forward-For $remote_addr;
# 配置XFF，記錄HTTP的請(qǐng)求端真實(shí)的IP
proxy_pass http://ingress-server-http; # 代理轉(zhuǎn)發(fā)
#index index.html index.htm; # 歡迎頁(yè)面
#proxy_set_header Host $host;
#proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#proxy_set_header X-Forwarded-Proto $scheme;
}
add_header backendCode $upstream_status;
add_header BackendIP "$upstream_addr;" always;
}
server { # 設(shè)定虛擬主機(jī)配置
#listen 80; # 監(jiān)聽的端口
listen 443 ssl;
server_name web2.study.com; # 監(jiān)聽的地址，多個(gè)域名用空格隔開
ssl_certificate /etc/nginx/conf.d/cert/web2.study.com.crt;
ssl_certificate_key /etc/nginx/conf.d/cert/web2.study.com.key;
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3;
ssl_prefer_server_ciphers on;
location / { # 默認(rèn)請(qǐng)求 ，后面 "/" 表示開啟反向代理，也可以是正則表達(dá)式
proxy_pass https://ingress-server-https;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
add_header backendCode $upstream_status;
add_header BackendIP "$upstream_addr;" always;
}
3.啟動(dòng)ngx
[root@ngx01 ~]# nginx [root@ngx01 ~]# ps -ef |grep nginx root 65865 1 0 22:48 ? 00:00:00 nginx: master process nginx nginx 65866 65865 0 22:48 ? 00:00:00 nginx: worker process root 65868 65838 0 22:48 pts/1 00:00:00 grep --color=auto nginx
4.關(guān)閉后端服務(wù)器ngx的arp查詢功能并設(shè)置回環(huán)IP
[root@ngx01 ~]# vim /etc/nginx/conf.d/lvs-rs.sh vip=192.168.1.188 mask='255.255.255.255' dev=lo:0 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -w net.ipv4.ip_forward=1 ifconfig $dev $vip broadcast $vip netmask $mask up route add -host $vip dev $dev [root@ngx01 conf.d]# chmod +755 lvs-rs.sh [root@ngx01 conf.d]# bash lvs-rs.sh
5.再次查看keepalived狀態(tài)和lvs路由轉(zhuǎn)發(fā)規(guī)則
后端服務(wù)器ngx啟動(dòng)并配置后查看keepalived日志，發(fā)現(xiàn)監(jiān)聽到了后端服務(wù)器并將路由加入了轉(zhuǎn)發(fā)規(guī)則內(nèi)
[root@lvs01-master ~]# journalctl -f -u keepalived
[root@lvs01-master ~]# ipvsadm
五、驗(yàn)證
1.驗(yàn)證此架構(gòu)是否可以正常處理請(qǐng)求
k8s創(chuàng)建一個(gè)pod應(yīng)用，并暴露ingress 模擬用戶訪問(wèn)，此時(shí)需要將ingress的域名解析綁定為 虛擬VIP
瀏覽器模擬用戶訪問(wèn)
如上 實(shí)現(xiàn)了nginx反向代理ingress的輪詢流程
2.驗(yàn)證后端真實(shí)服務(wù)器ngx是否高可用
接下來(lái)驗(yàn)證每次請(qǐng)求都會(huì)負(fù)載到哪臺(tái)后端真實(shí)服務(wù)器nginx來(lái)轉(zhuǎn)發(fā)到ingress的呢，這就需要在ingress-controller上進(jìn)行配置了
修改ingress的日志輸出格式，并查看ingress的訪問(wèn)日志
[root@k8s-master ~]# vim /etc/kubernetes/manifests/ingress-controller.yaml
apiVersion: v1
data:
log-format-upstream: '{"time": "$time_iso8601", "remote_addr": "$proxy_protocol_addr", "x_forwarded_for": "$proxy_add_x_forwarded_for", "request_id": "$req_id","remote_user": "$remote_user", "bytes_sent": $bytes_sent, "request_time": $request_time, "status": $status, "vhost": "$host", "request_proto": "$server_protocol","path": "$uri", "request_query": "$args", "request_length": $request_length, "duration": $request_time,"method": "$request
_method", "http_referrer": "$http_referer","http_user_agent": "$http_user_agent" }'
kind: ConfigMap
...
[root@k8s-master ~]# kubectl apply -f /etc/kubernetes/manifests/ingress-controller.yaml
如上圖可以發(fā)現(xiàn)現(xiàn)在我們的請(qǐng)求都是經(jīng)過(guò)nginx01 IP為1.7這臺(tái)機(jī)器轉(zhuǎn)發(fā)過(guò)來(lái)的
現(xiàn)關(guān)閉1.7這臺(tái)ngx01模擬故障，客戶端接著請(qǐng)求看是否會(huì)把請(qǐng)求轉(zhuǎn)發(fā)至另一臺(tái)1.8nginx02上
[root@ngx01 conf.d]# killall nginx
當(dāng)ngx01宕機(jī)后，我們也可以通過(guò)keepalived的日志看到ngx01會(huì)被健康檢測(cè)剔除
此時(shí)lvs的路由規(guī)則如下
3.驗(yàn)證lvs+keepalived是否高可用
當(dāng) keepalived master節(jié)點(diǎn)和backup節(jié)點(diǎn)同時(shí)在線且運(yùn)行正常時(shí)，虛擬VIP會(huì)在keepalived master上， 如下：
lvs01-master節(jié)點(diǎn)：
lvs02-backup節(jié)點(diǎn)：
此時(shí)將lvs01 master節(jié)點(diǎn)的 keeaplived服務(wù)停止模擬宕機(jī)故障，看虛擬Vip是否會(huì)漂移到lvs02 backup節(jié)點(diǎn)上
[root@lvs01-master ~]# systemctl stop keepalived
再次查看lvs02 backup節(jié)點(diǎn)
可以看到虛擬vip已經(jīng)漂移過(guò)來(lái)了，并可以正常的提供服務(wù)，可以通過(guò)keepalived的日志來(lái)查看漂移過(guò)程；
ps：附加一個(gè)https的訪問(wèn)
方式二：Nginx+Keepalived+Ingress
| server | IP |
|---|---|
| ngx01-master(keepalived) | 192.168.1.5 |
| ngx02-slave(keepalived) | 192.168.1.6 |
| ingress-ngx-controller01 | 192.168.1.2 |
| ingress-ngx-controller02 | 192.168.1.3 |
這種方式是直接用nginx做負(fù)載均衡，同時(shí)兼顧反向代理的角色，直接通過(guò)七層代理協(xié)議來(lái)通過(guò)域名來(lái)分發(fā)請(qǐng)求，當(dāng)并發(fā)少時(shí)可以使用這種方式
ps:每日PV1000萬(wàn)以下或并發(fā)請(qǐng)求1萬(wàn)以下都可以考慮用Nginx；構(gòu)建大型網(wǎng)站或者提供重要服務(wù)且機(jī)器較多時(shí)，可多加考慮利用LVS。
一、部署keepalived及nginx
兩臺(tái)同操作
[root@localhost ~]# yum -y install nginx keepalived nginx-all-modules
二、配置nginx
1.修改ngx主配置文件
兩臺(tái)同操作
[root@localhost ~]# vim /etc/nginx/nginx.conf
#這里將默認(rèn)的server塊配置的端口監(jiān)聽改為除80以外的端口，因?yàn)?0端口會(huì)用來(lái)代理ingress配合keepalived做檢測(cè)
...
server {
listen 90;
listen [::]:90;
server_name _;
root /usr/share/nginx/html;
...
}
2.ngx反向代理ingress并啟動(dòng)
兩臺(tái)ngx同操作
[root@localhost ~]# vim /etc/nginx/conf.d/proxy-ingress.conf
upstream ingress-server-http{
server 192.168.1.3:80 max_fails=2 fail_timeout=30s;
server 192.168.1.2:80 max_fails=2 fail_timeout=30s;
}
upstream ingress-server-https{
server 192.168.1.3:443 max_fails=2 fail_timeout=30s;
server 192.168.1.2:443 max_fails=2 fail_timeout=30s;
}
server { # 設(shè)定虛擬主機(jī)配置
listen 80; # 監(jiān)聽的端口
server_name *.study.com; # 監(jiān)聽的地址，多個(gè)域名用空格隔開
location / { # 默認(rèn)請(qǐng)求 ，后面 "/" 表示開啟反向代理，也可以是正則表達(dá)式
proxy_set_header Host $http_host; # 重寫請(qǐng)求頭中的host字段
proxy_pass http://ingress-server-http; # 代理轉(zhuǎn)發(fā)
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
add_header backendCode $upstream_status;
add_header BackendIP "$upstream_addr;" always;
}
server { # 設(shè)定虛擬主機(jī)配置
#listen 80; # 監(jiān)聽的端口
listen 443 ssl;
server_name *.study.com; # 監(jiān)聽的地址，多個(gè)域名用空格隔開
ssl_certificate /etc/nginx/conf.d/cert/web2.study.com.crt;
ssl_certificate_key /etc/nginx/conf.d/cert/web2.study.com.key;
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3;
ssl_prefer_server_ciphers on;
location / { # 默認(rèn)請(qǐng)求 ，后面 "/" 表示開啟反向代理，也可以是正則表達(dá)式
proxy_pass https://ingress-server-https;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
add_header backendCode $upstream_status;
add_header BackendIP "$upstream_addr;" always;
}
三、配置keepalived
1. 配置ngx01-master
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
global_defs {
router_id NGINX_MASTER
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
state MASTER
interface ens33 #修改為實(shí)際網(wǎng)卡名
virtual_router_id 51 #每個(gè)虛擬路由器惟一標(biāo)識(shí)，范圍：0-255，同一組虛擬路由器的vrid必須一致
priority 100 #優(yōu)先級(jí)，備服務(wù)設(shè)置90
advert_int 1 #指定VRRP心跳包通告間隔時(shí)間，默認(rèn)為1秒
authentication {
auth_type PASS
auth_pass 1111
}
#虛擬IP
virtual_ipaddress {
192.168.1.99/24
}
track_script {
check_nginx
}
}
2. 配置ngx02-slave
global_defs {
router_id NNGINX_BACKUP
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51 #每個(gè)虛擬路由器惟一標(biāo)識(shí)，范圍：0-255，同一組虛擬路由器的vrid必須一致
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.99/24
}
track_script {
check_nginx
}
}
3.配置檢查nginx運(yùn)行狀態(tài)的腳本
兩臺(tái)同操作
check_nginx.sh 檢測(cè)nginx腳本如下
[root@localhost ~]# vim /etc/keepalived/check_nginx.sh nginx_status_http=$(ss -unptl |grep 80 |egrep -cv "grep|$$") nginx_status_https=$(ss -unptl |grep 443 |egrep -cv "grep|$$") if [ $nginx_status_http -ne 0 ] && [ $nginx_status_https -ne 0 ];then exit 0 #echo "檢測(cè)通過(guò)" else exit 1 #echo "檢測(cè)不通過(guò)" fi
然后啟動(dòng)keepalived
systemctl start keepalived
四、驗(yàn)證
驗(yàn)證步驟跟第一種方式類似，keepalived起來(lái)之后看下虛擬vip，然后模擬kill掉其中一臺(tái)的nginx服務(wù)看 IP是否會(huì)漂移到另一臺(tái)上；
不同的是：
第一種方式兩臺(tái)lvs服務(wù)器掛掉一臺(tái)VIP會(huì)漂移至另一臺(tái)；
這種方式是兩臺(tái)服務(wù)器中的nginx服務(wù)掛掉一個(gè)VIP就會(huì)漂移至另一臺(tái)；
方式三：LVS+Keepalived+Ingress
| server | IP |
|---|---|
| lvs01-master(keepalived) | 192.168.1.5 |
| lvs02-slave(keepalived) | 192.168.1.6 |
| ingress-ngx-controller01 | 192.168.1.2 |
| ingress-ngx-controller02 | 192.168.1.3 |
這種方式和第一種方式步驟相同，只不過(guò)不用添加ngx這一步了，
只需要 將keepalived配置的真實(shí)服務(wù)器(real_server)換成ingress controller的pod所在節(jié)點(diǎn)IP地址 和 關(guān)閉ingress controller的pod所在節(jié)點(diǎn)的arp查詢功能并設(shè)置回環(huán)IP即可
一、部署ipvsadm和keepalived
lvs01和lvs02節(jié)點(diǎn)都部署
[root@localhost ~]# yum install ipvsadm keepalived
二、配置keepalived
1.配置lvs01(keepalived master)
[root@lvs01-master ~]# vim /etc/keepalived/keepalived.conf
global_defs {
# 這里將郵件設(shè)置的相關(guān)信息都注釋掉了
# router_id是keepalived的一個(gè)標(biāo)識(shí)，最好不同的keepalived配置成不一樣
router_id LVS_DEVEL_MASTER
}
vrrp_instance VI_1 {
# MASTER表示是主節(jié)點(diǎn)，備份節(jié)點(diǎn)是BACKUP
state MASTER
# 工作接口用于選舉，這里寫網(wǎng)卡名稱，這個(gè)不同的服務(wù)器，可能有所不同
interface ens33
# vrrp虛擬路由標(biāo)識(shí)，如果是一組虛擬路由內(nèi)的MASTER和BACKUP節(jié)點(diǎn)的該值要保持一致，如果是多組就定義多個(gè)，范圍0-255
virtual_router_id 51
# 優(yōu)先級(jí)，MASTER節(jié)點(diǎn)的值必須大于BACKUP的值
priority 100
# MASTER與BACKUP同步的時(shí)間間隔，單位為秒
advert_int 1
# lvs對(duì)應(yīng)的真實(shí)IP
mcast_src_ip=192.168.1.5
authentication {
auth_type PASS
auth_pass 1111
}
# 虛擬IP的地址
virtual_ipaddress {
192.168.1.188
}
}
#定義lvs集群服務(wù) 這里就相當(dāng)于設(shè)置lvs路由 也可以說(shuō)是防火墻規(guī)則，當(dāng)有請(qǐng)求來(lái)請(qǐng)求虛擬地址時(shí)轉(zhuǎn)發(fā)至下面配置的真實(shí)服務(wù)器
virtual_server 192.168.1.188 80 {
# 健康檢查的時(shí)間，單位為秒
delay_loop 6
# 負(fù)載調(diào)度算法，這里設(shè)置為rr，即輪詢算法
lb_algo rr
# 設(shè)置DR模式，返回請(qǐng)求時(shí)，不走LVS，直接返回到客戶端。
lb_kind DR
# 虛擬地址的子網(wǎng)掩碼
nat_mask 255.255.255.0
# 會(huì)話保持時(shí)間(對(duì)動(dòng)態(tài)網(wǎng)頁(yè)非常有用)，單位為秒
persistence_timeout 50
#指定轉(zhuǎn)發(fā)協(xié)議類型，有TCP和UDP兩種
protocol TCP
# 配置后端真實(shí)服務(wù)器信息（這里指ngx）
# 當(dāng)然如果只是lvs+keepalived+ingress高可用的話，在這里就可以直接寫ingress的信息
real_server 192.168.1.2 80 {
# 節(jié)點(diǎn)的權(quán)重，數(shù)字越大權(quán)重越高，被轉(zhuǎn)發(fā)至此服務(wù)器的請(qǐng)求也就相應(yīng)的多
weight 1
#realserver的狀態(tài)監(jiān)測(cè)設(shè)置 單位秒
TCP_CHECK {
# 連接超時(shí)時(shí)間
connect_timeout 3
# 重試次數(shù)
nb_get_retry 3
# 重試間隔
delay_before_retry 3
}
}
real_server 192.168.1.3 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 192.168.1.188 443 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.1.2 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.1.3 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
2.配置lvs02(keepalived backup)
[root@lvs02-slave ~]# vim /etc/keepalived/keepalived.conf
global_defs {
# 這里將郵件設(shè)置的相關(guān)信息都注釋掉了
# router_id是keepalived的一個(gè)標(biāo)識(shí)，最好不同的keepalived配置成不一樣
router_id LVS_DEVEL_BACKUP
}
vrrp_instance VI_1 {
# MASTER表示是主節(jié)點(diǎn)，備份節(jié)點(diǎn)是BACKUP
state BACKUP
# 工作接口用于選舉，這里寫網(wǎng)卡名稱，這個(gè)不同的服務(wù)器，可能有所不同
interface ens33
# vrrp虛擬路由標(biāo)識(shí)，如果是一組虛擬路由內(nèi)的MASTER和BACKUP節(jié)點(diǎn)的該值要保持一致，如果是多組就定義多個(gè)，范圍0-255
virtual_router_id 51
# 優(yōu)先級(jí)，MASTER節(jié)點(diǎn)的值必須大于BACKUP的值
priority 99
# MASTER與BACKUP同步的時(shí)間間隔，單位為秒
advert_int 1
# lvs對(duì)應(yīng)的真實(shí)IP
mcast_src_ip=192.168.1.6
authentication {
auth_type PASS
auth_pass 1111
}
# 虛擬IP的址
virtual_ipaddress {
192.168.1.188
}
}
#定義lvs集群服務(wù) 這里就相當(dāng)于設(shè)置lvs路由 也可以說(shuō)是防火墻規(guī)則，當(dāng)有請(qǐng)求來(lái)請(qǐng)求虛擬地址時(shí)轉(zhuǎn)發(fā)至下面配置的真實(shí)服務(wù)器
virtual_server 192.168.1.188 80 {
# 健康檢查的時(shí)間，單位為秒
delay_loop 6
# 負(fù)載調(diào)度算法，這里設(shè)置為rr，即輪詢算法
lb_algo rr
# 設(shè)置DR模式，返回請(qǐng)求時(shí)，不走LVS，直接返回到客戶端。
lb_kind DR
# 虛擬地址的子網(wǎng)掩碼
nat_mask 255.255.255.0
# 會(huì)話保持時(shí)間(對(duì)動(dòng)態(tài)網(wǎng)頁(yè)非常有用)，單位為秒
persistence_timeout 50
#指定轉(zhuǎn)發(fā)協(xié)議類型，有TCP和UDP兩種
protocol TCP
# 配置后端真實(shí)服務(wù)器信息（這里指ngx）
# 當(dāng)然如果只是lvs+keepalived+ingress高可用的話，在這里就可以直接寫ingress的信息
real_server 192.168.1.2 80 {
# 節(jié)點(diǎn)的權(quán)重，數(shù)字越大權(quán)重越高，被轉(zhuǎn)發(fā)至此服務(wù)器的請(qǐng)求也就相應(yīng)的多
weight 1
#realserver的狀態(tài)監(jiān)測(cè)設(shè)置 單位秒
TCP_CHECK {
# 連接超時(shí)時(shí)間
connect_timeout 3
# 重試次數(shù)
nb_get_retry 3
# 重試間隔
delay_before_retry 3
}
}
real_server 192.168.1.3 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 192.168.1.188 443 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.1.2 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.1.3 443 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
三、關(guān)閉ingress所在節(jié)點(diǎn)的arp查詢功能并設(shè)置回環(huán)IP
ingress pod所在節(jié)點(diǎn)都要執(zhí)行
[root@k8s-node2 ~]# vim /home/fands/lvs-rs.sh vip=192.168.1.188 mask='255.255.255.255' dev=lo:0 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -w net.ipv4.ip_forward=1 ifconfig $dev $vip broadcast $vip netmask $mask up route add -host $vip dev $dev [root@ngx01 conf.d]# chmod +755 lvs-rs.sh [root@ngx01 conf.d]# bash lvs-rs.sh
四、驗(yàn)證
這個(gè)方式驗(yàn)證方法跟方式一相同，不管是其中哪一個(gè)ingress pod 掛掉都不影響正常使用，其中l(wèi)vs掛掉之后虛擬IP都會(huì)進(jìn)行漂移至另一臺(tái)lvs上不影響業(yè)務(wù)使用；可自行驗(yàn)證
總結(jié)
本文所有高可用的方式都是將域名解析至keepalived的VIP
遇到的問(wèn)題如下：當(dāng)使用ingress配置了https時(shí)，再使用nginx反向代理ingress的443端口的話，此時(shí)訪問(wèn)域名會(huì)發(fā)現(xiàn)訪問(wèn)地址被強(qiáng)制轉(zhuǎn)了https，此時(shí)在ingress處并沒有添加強(qiáng)制轉(zhuǎn)https的配置，甚至還想能通過(guò)http訪問(wèn)；
這樣的話需要在ingress配置 將強(qiáng)制https關(guān)閉；
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/ssl-redirect: "false"到此這篇關(guān)于Nginx ingress controller高可用的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Nginx ingress controller高可用 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
nginx出現(xiàn)500錯(cuò)誤,不會(huì)顯示具體錯(cuò)誤信息,要到日志文件里面去看,下面這篇文章主要給大家介紹了關(guān)于Nginx顯示500錯(cuò)誤的原因以及解決方法的相關(guān)資料,需要的朋友可以參考下2022-12-12
這篇文章主要介紹了Nginx服務(wù)器搭建和基本配置詳解,Nginx是事件驅(qū)動(dòng)的高性能服務(wù)器,需要的朋友可以參考下2015-09-09
這篇文章主要介紹了Nginx啟動(dòng)、重啟失敗的一般解決方法和步驟,本文沒啥技術(shù)含量,只是一個(gè)慣用手法的總結(jié),需要的朋友可以參考下2015-07-07
Nginx實(shí)現(xiàn)UDP四層轉(zhuǎn)發(fā)的過(guò)程
為了解決VPN連接速度慢的問(wèn)題,可以通過(guò)Nginx實(shí)現(xiàn)UDP的四層轉(zhuǎn)發(fā),首先檢查Nginx是否安裝了with-stream模塊,然后修改nginx.conf配置文件進(jìn)行UDP端口的轉(zhuǎn)發(fā)設(shè)置,使用nginx-t檢查配置文件語(yǔ)法,無(wú)誤后重新加載Nginx,這樣通過(guò)國(guó)內(nèi)服務(wù)器中轉(zhuǎn),可以提升連接到國(guó)外服務(wù)器的速率2024-09-09
Nginx通過(guò)nginx-rtmp-module模塊搭建流媒體服務(wù)器實(shí)現(xiàn)直播
近日有客戶咨詢想用Nginx搭建流媒體服務(wù)器實(shí)現(xiàn)直播,方便他們打造自己的平臺(tái),經(jīng)過(guò)各種測(cè)試發(fā)現(xiàn)如下文章不錯(cuò),特分享給需要的朋友2023-10-10
Nginx反向代理springboot的jar包過(guò)程解析
這篇文章主要介紹了Nginx反向代理springboot的jar包過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
本文主要介紹了nginx配置指令之server_name的具體使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
這篇文章主要介紹了基于Nginx的Mencached緩存配置詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
詳解nginx服務(wù)器綁定域名和設(shè)置根目錄的方法
這篇文章主要介紹了詳解nginx服務(wù)器綁定域名和設(shè)置根目錄的方法，nginx服務(wù)器綁定域名以及設(shè)置根目錄非常方便，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
Nginx出現(xiàn)The plain HTTP request was sent to HTTPS port問(wèn)題解決方法
這篇文章主要介紹了Nginx出現(xiàn)The plain HTTP request was sent to HTTPS port問(wèn)題解決方法,需要的朋友可以參考下2015-04-04