企业官网建设流程全解析

一.高可用集群

1.集群类型

LB：Load Balance 负载均衡 LVS/HAProxy/nginx（http/upstream, stream/upstream） HA：High Availability 高可用集群 数据库、Redis SPoF: Single Point of Failure，解决单点故障 HPC：High Performance Computing 高性能集群

2.系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约） A = MTBF / (MTBF+MTTR）

99.95%:(60*24*30)*(1-0.9995)=21.6分钟 一般按一个月停机时间统计

指标 ：99.9%, 99.99%, 99.999%,99.9999%

3.实现高可用

提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间) 解决方案：建立冗余机制

active/passive 主/备 active/active 双主 active --> HEARTBEAT --> passive active <--> HEARTBEAT <--> active

4.VRRP：Virtual Router Redundancy Protocol

虚拟路由冗余协议,解决静态网关单点风险

物理层:路由器、三层交换机

软件层:keepalived

5.VRRP 相关术语

虚拟路由器：Virtual Router 虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器 VIP：Virtual IP VMAC：Virutal MAC (00-00-5e-00-01-VRID) 物理路由器： master：主设备 backup：备用设备 priority：优先级

6.VRRP 相关技术

通告：心跳，优先级等；周期性 工作方式：抢占式，非抢占式 安全认证： 无认证 简单字符认证：预共享密钥 MD5 工作模式： 主/备：单虚拟路由器 主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

二、Keepalived 部署

1.keepalived 简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务

官网：http://keepalived.org/

功能： 基于vrrp协议完成地址流动 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义) 为ipvs集群的各RS做健康状态检测 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.Keepalived 架构

官方文档：

https://keepalived.org/doc/

http://keepalived.org/documentation.html

用户空间核心组件： vrrp stack：VIP消息通告 checkers：监测real server system call：实现 vrrp 协议状态转换时调用脚本的功能 SMTP：邮件组件 IPVS wrapper：生成IPVS规则 Netlink Reflector：网络接口 WatchDog：监控进程 控制组件：提供keepalived.conf 的解析器，完成Keepalived配置。 IO复用器：针对网络目的而优化的自己的线程抽象。 内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限。

3.Keepalived 环境准备

各节点时间必须同步：ntp, chrony 关闭防火墙及SELinux 各节点之间可通过主机名互相通信：非必须 建议使用/etc/hosts文件实现：非必须 各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信：非必须

准备四台主机，两keepalived两后端服务器RS，全部关闭火墙和selinux，时间同步

IP：

时间同步：

4.Keepalived 相关文件

软件包名：keepalived 主程序文件：/usr/sbin/keepalived 主配置文件：/etc/keepalived/keepalived.conf 配置文件示例：/usr/share/doc/keepalived/ Unit File：/lib/systemd/system/keepalived.service Unit File的环境配置文件：/etc/sysconfig/keepalived

5.Keepalived 安装

👆如果启动不了先修改配置文件再启动

6.KeepAlived 配置说明

配置文件组成部分

配置文件：/etc/keepalived/keepalived.conf

配置文件组成 GLOBAL CONFIGURATION Global definitions： 定义邮件配置，route_id，vrrp配置，多播地址等 VRRP CONFIGURATION VRRP instance(s)： 定义每个vrrp虚拟路由器 LVS CONFIGURATION Virtual server group(s) Virtual server(s)： LVS集群的VS和RS

全局配置

配置虚拟路由器

示例：

KA1：

配置文件语法检测：

重启服务：

KA2：

两KA启用keepalived日志功能

两KA实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理

将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件

三.Keepalived 企业应用示例

1.单主架构

上面配置的即单主架构（一个master，一个backup）

抓包观察：

2.抢占模式和非抢占模式

• 非抢占模式 nopreempt

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，这样会使vip在KA主机中来回漂移，造成网络抖动，建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色；直到现役主机挂了后才恢复高优先级主机master。

👾注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP

配置：

KA1：

KA2：

• 抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP

👹注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict

KA1：

preempt_delay 后面跟秒

KA2：

3.VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

👺注意：启用 vrrp_strict 时，不能启用单播

KA1：

KA2：

抓包查看单播效果：

四、邮件配置

1.邮箱配置

↓password填授权码

安装软件：

发送测试邮件：

2.实现 Keepalived 状态切换的通知脚本

在所有 keepalived节点配置如下：

测试：

#模拟master故障

[root@ka1-centos8 ~]#killall keepalived

在浏览器中观察邮件即可

五、实现 master/master 的 Keepalived 双主架构

master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却 很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。

master/master 的双主架构：

即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高 服务器资源利用率

KA1：

KA2：

测试查看：

六、实现IPVS的高可用性

virtual server （虚拟服务器）的定义格式:

virtual_server IP port #定义虚拟主机IP地址及其端口 virtual_server fwmark int #ipvs的防火墙打标，实现基于防火墙的负载均衡集群 virtual_server group string #使用虚拟服务器组

虚拟服务器配置:

virtual_server IP port { #VIP和PORT delay_loop <INT> #检查后端服务器的时间间隔 lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法 lb_kind NAT|DR|TUN #集群的类型,注意要大写 persistence_timeout <INT> #持久连接时长 protocol TCP|UDP|SCTP #指定服务协议,一般为TCP sorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址 real_server <IPADDR> <PORT> { #RS的IP和PORT weight <INT> #RS权重 notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本 notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状 态检测方法 } } #注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

应用层监测:

HTTP_GET|SSL_GET { url { path <URL_PATH> #定义要监控的URL status_code <INT> #判断上述检测机制为健康状态的响应码，一般为 200 } connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout server nb_get_retry <INT> #重试次数 delay_before_retry <INT> #重试之前的延迟时长 connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求 connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求 bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址 bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口 }

TCP监测:

TCP_CHECK { connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求 connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求 bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址 bind_port <PORT> #发出健康状态检测请求时使用的源端口 connect_timeout <INTEGER> #客户端请求的超时时长 #等于haproxy的timeout server }

实战案例：实现单主的 LVS-DR 模式

两RS添加环回接口IP

↑此方法为临时添加

两RS阻止内网穿透：

然后两RS安装nginx和配置默认发布文件

两KA主机安装ipvsadm：

两KA配置keepalived：

两KA可查到LVS策略：

访问测试：

模拟故障：

恢复RS1后；KA1故障，自动切换至KA2

实战案例：双主分别实现httpd和mysql服务的调度

在RS1和RS2中准备nginx(上题已配)和mysql环境:

配置两KA双主模式：

查看测试：

实战案例：利用脚本实现主从角色切换

vrrp_script <SCRIPT_NAME> { #定义一个检测脚本，在global_defs 之外配置 script <STRING>|<QUOTED-STRING> #shell命令或脚本路径 interval <INTEGER> #间隔时间，单位为秒，默认1秒 timeout <INTEGER> #超时时间 weight <INTEGER:-254..254> #默认为0,如果设置此值为负数， #当上面脚本返回值为非0时 #会将此值与本节点权重相加可以降低本节点权重， #即表示fall. #如果是正数，当脚本返回值为0， #会将此值与本节点权重相加可以提高本节点权重 #即表示 rise.通常使用负值 fall <INTEGER> #执行脚本连续几次都失败,则转换为失败，建议设为2以上 rise <INTEGER> #执行脚本连续几次都成功，把服务器从失败标记为成功 user USERNAME [GROUPNAME] #执行监测脚本的用户或组 init_fail #设置默认标记为失败状态，监测成功之后再转换为成功状态 }

建立脚本：

编辑keepalived配置（只做一台KA即可实现）：

测试：

实战案例：实现HAProxy高可用

两KA安装haproxy：

在两个ka1和ka2先实现haproxy的配置：

在两个ka1和ka2两个节点启用内核参数：

设置内核参数net.ipv4.ip_nonlocal_bind=1后即使IP不在本机上也能监听

然后要在两KA中编写检测脚本来检测自己的haproxy程序有没有挂，如果挂了的话就要降低keepalived优先级把MASTER转移

配置keepalived配置文件：

注：vrrp_script要写在global_defs下

weight为负数时——脚本结果为1（假）时生效

weight为正数时——脚本结果为0（真）时生效

测试：