30. LVS调度器详解 - 第一节

最编程 2024-08-10 21:19:54

...

@[TOC](第三十章 LVS调度器小节1)

系统性能扩展

系统性能扩展方式：

Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务

Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster

垂直扩展不再提及：

随着计算机性能的增长，其价格会成倍增长

单台计算机的性能是有上限的，不可能无限制地垂直扩展

多核CPU意味着即使是单台计算机也可以并行的。那么，为什么不一开始就并行化技术？

Cluster概念

Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

Linux Cluster类型：

LB：Load Balancing，负载均衡

HA：High Availiablity，高可用，SPOF（single Point Of failure）

MTBF:Mean Time Between Failure 平均无故障时间

MTTR:Mean Time To Restoration（repair）平均恢复前时间 A=MTBF/（MTBF+MTTR）(0,1)：99%, 99.5%, 99.9%, 99.99%,99.999%

HPC：High-performance computing，高性能 www.top500.org

分布式系统：

分布式存储：Ceph，GlusterFS，FastDFS，MogileFS

分布式计算：hadoop，Spark

集群和分布式

集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且一台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

集群设计原则

可扩展性—集群的横向扩展能力

可用性—无故障时间(SLA)

性能—访问响应时间

容量—单位时间内的最大并发吞吐量(C10K 并发问题)

集群设计原则

基础设施层面：

提升硬件资源性能—从入口防火墙到后端web server均使用更高性能的硬件资源

多域名—DNS 轮询A记录解析

多入口—将A记录解析到多个公网IP入口

多机房—同城+异地容灾

CDN(Content Delivery Network)—基于GSLB(Global Server Load Balance)实现全局负载均衡，如DNS

业务层面：

分层：安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化

分割：基于功能分割大业务为小服务

分布式：对于特殊场景的业务，使用分布式计算

分布式

分布式应用-服务按照功能拆分，使用微服务

分布式静态资源--静态资源放在不同的存储集群上

分布式数据和存储--使用key-value缓存系统

分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

Cluster分类

LB Cluster的实现

硬件

F5 Big-IP

Citrix Netscaler

A10 A10

软件

lvs：Linux Virtual Server，阿里四层SLB (Server Load Balance)使用

nginx：支持七层调度，阿里七层SLB使用Tengine

haproxy：支持七层调度

ats：Apache Traffic Server，yahoo捐助给apache

perlbal：Perl 编写

pound

基于工作的协议层次划分：

传输层（通用）：DPORT

LVS：

nginx：stream

haproxy：mode tcp

应用层（专用）：针对特定协议，自定义的请求模型分类

proxy server：

http：nginx, httpd, haproxy(mode http), ...

fastcgi：nginx, httpd, ...

mysql：mysql-proxy, ...

Cluster相关

会话保持：负载均衡

1. session sticky：同一用户调度固定服务器
  Source IP：LVS sh算法（对某一特定服务而言） Cookie
2.session replication：每台服务器拥有全部session
  session multicast cluster
3.session server：专门的session服务器
  Memcached，Redis

HA集群实现方案

keepalived：vrrp协议

Ais：应用接口规范

heartbeat

cman+rgmanager(RHCS)

coresync_pacemaker

LVS介绍

LVS：Linux Virtual Server，负载调度器，内核集成

官网：www.linuxvirtualserver.org/

VS: Virtual Server，负责调度

RS: Real Server，负责真正提供服务

L4：四层路由器或交换机

阿里的四层LSB(Server Load Balance)是基于LVS+keepalived实现

工作原理：

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

netfilter

iptables/netfilter：

iptables：用户空间的管理工具

netfilter：内核空间上的框架

流入：PREROUTING --> INPUT

流出：OUTPUT --> POSTROUTING

转发：PREROUTING --> FORWARD --> POSTROUTING

DNAT：目标地址转换；PREROUTING

LVS概念

lvs集群类型中的术语：

VS：Virtual Server，Director Server(DS)
Dispatcher(调度器)，Load Balancer
RS：Real Server(lvs), upstream server(nginx)
backend server(haproxy)
CIP：Client IP

VIP: Virtual serve IP VS外网的IP

DIP: Director IP VS内网的IP

RIP: Real server IP

访问流程：CIP <--> VIP == DIP <--> RIP

lvs集群的类型

lvs: ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，规则管理器
        用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架

lvs集群的类型：

lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

lvs-nat模式

本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP

请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

支持端口映射，可修改请求报文的目标PORT

VS必须是Linux系统，RS可以是任意OS系统

LVS-DR模式

LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

Director和各RS都配置有VIP

确保前端路由器将目标IP为VIP的请求报文发往Director

在前端网关做静态绑定VIP和Director的MAC地址

在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director

RS和Director要在同一个物理网络

请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

不支持端口映射（端口不能修败）

RS可使用大多数OS系统

lvs-tun模式

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

DIP, VIP, RIP都应该是公网地址

RS的网关一般不能指向DIP

请求报文要经由Director，但响应不经由Director

不支持端口映射

RS的OS须支持隧道功能

lvs-fullnat模式

lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发 CIP --> DIP VIP --> RIP

VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP

RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client

请求和响应报文都经由Director

支持端口映射

注意：此类型kernel默认不支持

LVS工作模式总结

| | VS/NAT | VS/TUN | VS/DR | | --- | --- | --- | --- | | Server | any | Tunneling | Non-arp device | | Server network | private | LAN/WAN | LAN | | Server number | low(10~20) | High(100) | High(100) | | Server gatway | load balancer | own router | Own router |

lvs-nat与lvs-fullnat：请求和响应报文都经由Director

lvs-nat：RIP的网关要指向DIP

lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

ipvs scheduler

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态

两种：静态方法和动态方法

静态方法：仅根据算法本身进行调度

RR：roundrobin，轮询

WRR：Weighted RR，加权轮询

SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

LC：least connections 适用于长连接应用
Overhead=activeconns*256+inactiveconns
WLC：Weighted LC，默认调度方法
Overhead=(activeconns*256+inactiveconns)/weight
SED：Shortest Expection Delay,初始连接高权重优先
Overhead=(activeconns+1)*256/weight
NQ：Never Queue，第一轮均匀分配，后续SED

LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

ipvs

ipvsadm/ipvs：
ipvs：

grep -i -A 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64 
支持的协议：TCP，UDP，AH，ESP，AH_ESP, SCTP

ipvs集群：

管理集群服务
管理服务上的RS

ipvsadm包构成

ipvsadm：

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm命令

ipvsadm命令：核心功能：

 集群服务管理：增、删、改
 集群服务的RS管理：增、删、改
 查看
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pepersistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

管理集群服务：增、改、删

增、改：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删除：

ipvsadm -D -t|u|f service-address

service-address：

-t|u|f：
      -t: TCP协议的端口，VIP:TCP_PORT
      -u: UDP协议的端口，VIP:UDP_PORT
      -f：firewall MARK，标记，一个数字

[-s scheduler]：指定集群的调度算法，默认为wlc

管理集群上的RS：增、改、删

增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

删：ipvsadm -d -t|u|f service-address -r server-address

server-address：

rip[:port] 如省略port，不作端口映射

选项：
lvs类型：
     -g: gateway, dr类型，默认
     -i: ipip, tun类型
     -m: masquerade, nat类型
-w weight：权重
清空定义的所有内容：ipvsadm –C

清空计数器：ipvsadm -Z [-t|u|f service-address]

查看：
ipvsadm -L|l [options]
   --numeric, -n：以数字形式输出地址和端口号
   --exact：扩展信息，精确值
   --connection，-c：当前IPVS连接输出
   --stats：统计信息
   --rate ：输出速率信息
ipvs规则：/proc/net/ip_vs

ipvs连接：/proc/net/ip_vs_conn

保存及重载规则

保存：建议保存至/etc/sysconfig/ipvsadm

ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service

重载：

ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service

LVS

负载均衡集群设计时要注意的问题

是否需要会话保持

是否需要共享存储

共享存储：NAS，SAN，DS（分布式存储）

数据同步：

lvs-nat：设计要点：

RIP与DIP在同一IP网络, RIP的网关要指向DIP

支持端口映射

Director要打开核心转发功能

实验：基于NAT模型LVS

图片.png

RSP1和RSP2分别创建不同网页

#安装httpd服务
[root@rip10 ~]# yum install httpd -y
#启动httpd服务
[root@rip10 ~]# systemctl start httpd
#分别创建不同网站、加以区分
[root@rip10 ~]# echo R10 > /var/www/html/index.html
和
[root@rip20 ~]# echo R20 > /var/www/html/index.html

LVS

#访问RSP1网页信息
[root@lvs ~]# curl 192.168.37.10
R10
#访问RSP2网页信息
[root@lvs ~]# curl 192.168.37.20
R20

[root@lvs ~]# vim /etc/sysctl.conf 
...
net.ipv4.ip_forward = 1 <--添加路由转发功能
...

#使其生效
[root@lvs ~]# sysctl -p

#安装工具包
[root@lvs ~]# yum install ipvsadm -y

#查看'ipvsadm'包安装了哪些文件
[root@lvs ~]# rpm -ql ipvsadm
/etc/sysconfig/ipvsadm-config    <--配置文件
/usr/lib/systemd/system/ipvsadm.service
/usr/sbin/ipvsadm    <--主程序
/usr/sbin/ipvsadm-restore    <--重载工具
/usr/sbin/ipvsadm-save    <--保存工具
/usr/share/doc/ipvsadm-1.27
/usr/share/doc/ipvsadm-1.27/README
/usr/share/man/man8/ipvsadm-restore.8.gz
/usr/share/man/man8/ipvsadm-save.8.gz
/usr/share/man/man8/ipvsadm.8.gz

[root@lvs ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

LVS

#     -A(增加) -t:(tcp协议) (VIP):80(端口号) -s(调度算法) rr(轮询)
[root@lvs ~]# ipvsadm -A -t 192.168.1.7:80 -s rr
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 rr    <--轮询

[root@lvs ~]# ipvsadm -a -t 192.168.1.7:80 -r 192.168.37.10 -m 
[root@lvs ~]# ipvsadm -a -t 192.168.1.7:80 -r 192.168.37.20 -m 
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 rr
  -> 192.168.37.10:80             Masq    1      0          0         
  -> 192.168.37.20:80             Masq    1      0          0

client

#rr 轮询
[root@client ~]$ while true; do curl 192.168.1.7 ;sleep 0.5;done
R10
R20
R10
R20
^C

wrr(加权轮询)

LVS

[root@lvs ~]# ipvsadm -E -t 192.168.1.7:80 -s wrr
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wrr    <--加权轮询
  -> 192.168.37.10:80             Masq    1      0          0         
  -> 192.168.37.20:80             Masq    1      0          0 
  
#权重6
[root@lvs ~]# ipvsadm -e -t 192.168.1.7:80 -r 192.168.37.20 -m -w 6
#权重2
[root@lvs ~]# ipvsadm -e -t 192.168.1.7:80 -r 192.168.37.10 -m -w 2
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wrr
  -> 192.168.37.10:80             Masq    2      0          0         
  -> 192.168.37.20:80             Masq    6      0          0

client

大概1：3效果、R20访问三次R10访问一次

#加权轮询
[root@client ~]$ while true; do curl 192.168.1.7 ;sleep 0.5;done
R20
R20
R20
R10
R20
R20
R20
R10
^C

RIP10

将httpd端口号改为'8080'

[root@rip10 ~]# sed -i 's/^Listen 80/Listen 8080/' /etc/httpd/conf/httpd.conf 

#重启服务
[root@rip10 ~]# systemctl restart httpd

client

出现问题发现只要20、没有10

[root@client ~]$ while  true; do curl 192.168.1.7 ;sleep 0.5;done
curl: (7) couldn't connect to host
R20
R20
R20
curl: (7) couldn't connect to host
R20
R20
R20
curl: (7) couldn't connect to host
^C

LVS

#-d删除
[root@lvs ~]# ipvsadm -d -t 192.168.1.7:80 -r 192.168.37.10:80
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wrr
  -> 192.168.37.20:80             Masq    6      0          0 

#重新添加、并将端口号设为8080
[root@lvs ~]# ipvsadm -a -t 192.168.1.7:80 -r 192.168.37.10:8080 -m -w 6
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wrr
  -> 192.168.37.10:8080           Masq    6      0          0         
  -> 192.168.37.20:80             Masq    6      0          0

client

可正常访问

[root@client ~]$ while  true; do curl 192.168.1.7 ;sleep 0.5;done
R10
R20
R10
R20
^C

sh 源地址不变、就往一台机器上调度

LVS

[root@lvs ~]# ipvsadm -E -t 192.168.1.7:80 -s sh
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 sh    <--
  -> 192.168.37.10:8080           Masq    6      0          0         
  -> 192.168.37.20:80             Masq    6      0          0

client

源地址不变、就往一台机器上调度

[root@client ~]$ while  true; do curl 192.168.1.7 ;sleep 0.5;done
R10
R10
R10
R10
^C

dh 只要目标是固定的、我就不变

LVS

[root@lvs ~]# ipvsadm -E -t 192.168.1.7:80 -s dh
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 dh
  -> 192.168.37.10:8080           Masq    6      0          0         
  -> 192.168.37.20:80             Masq    6      0          0

RIP10

[root@rip10 ~]# cd /var/www/html/
[root@rip10 html]# for i in {1..5};do echo Page $i on RS1 > test$i.html;done

RIP20

[root@rip20 ~]# cd /var/www/html/
[root@rip20 html]# for i in {1..5};do echo Page $i on RS2 > test$i.html;done

client

[root@centos6 ~]$ while  true; do curl http://192.168.1.7/test1.html ;sleep 0.5;done
Page 1 on RS2
Page 1 on RS2
^C
[root@centos6 ~]$ while  true; do curl http://192.168.1.7/test2.html ;sleep 0.5;done
Page 2 on RS2
Page 2 on RS2
^C

wlc (默认算法、相当于轮询)

LVS

[root@lvs ~]# ipvsadm -E -t 192.168.1.7:80
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wlc
  -> 192.168.37.10:8080           Masq    6      0          0         
  -> 192.168.37.20:80             Masq    6      0          0

client

[root@centos6 ~]$ while  true; do curl http://192.168.1.7/ ;sleep 0.5;done
R10
R20
R10
R20
^C

LVS

#连接数都是'32'、相当于轮询
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wlc
  -> 192.168.37.10:8080           Masq    6      0          32        
  -> 192.168.37.20:80             Masq    6      0          32

实验：基于NAT模型LVS+Wordpress+Mariadb

图片.png

RIP10

[root@rip10 html]# yum install -y php-fpm php-mysql mariadb

mysql

[root@mysql ~]# yum install mariadb-server -y
[root@mysql ~]# systemctl start mariadb
[root@mysql ~]# systemctl enable mariadb
#创建账号
[root@mysql ~]# mysql -e "create database wordpress;grant all on wordpress.* to wordpress@'192.168.37.%' identified by 'centos'"

RIP10

wordpress-5.0.4下载

[root@rip10 html]# pwd
/var/www/html

#创建
[root@rip10 html]# vim /etc/httpd/conf.d/fcgi.conf
AddType application/x-httpd-php .php                    
AddType application/x-httpd-php-source .phps
ProxyRequests Off
ProxyPassMatch ^/(.*\.php)$ fcgi://127.0.0.1:9000/var/www/html/$1

#修改配置文件
[root@rip10 html]# vim /etc/httpd/conf/httpd.conf
...
<IfModule dir_module>
    DirectoryIndex index.php index.html    <--
</IfModule>
...

[root@rip10 html]# tar xvf wordpress-5.0.4-zh_CN.tar.gz
[root@rip10 html]# cd wordpress/
[root@rip10 wordpress]# cp wp-config-sample.php wp-config.php
#修改信息
[root@rip10 wordpress]# vim wp-config.php
...
/** WordPress数据库的名称 */
define('DB_NAME', 'wordpress');    <--

/** MySQL数据库用户名 */
define('DB_USER', 'wordpress');    <--

/** MySQL数据库密码 */
define('DB_PASSWORD', 'centos');    <--

/** MySQL主机 */
define('DB_HOST', '192.168.37.30');    <--
...

#重启服务
[root@rip10 html]# systemctl restart httpd php-fpm

LVS

[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wlc
  -> 192.168.37.10:8080           Masq    6      0          117       
  -> 192.168.37.20:80             Masq    6      0          116       

#删除37.20
[root@lvs ~]# ipvsadm -d -t 192.168.1.7:80 -r 192.168.37.20:80
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wlc
  -> 192.168.37.10:8080           Masq    6      0          119

Windows测试

RIP10

复制到RIP20

[root@rip10 wordpress]# cd ..
[root@rip10 html]# pwd
/var/www/html

[root@rip10 html]# scp -r wordpress 192.168.37.20:/var/www/html/
[root@rip10 html]# vim /etc/httpd/conf/httpd.conf
···
Listen 80    <--
...

[root@rip10 html]# scp -r /etc/httpd/conf/httpd.conf 192.168.37.20:/etc/httpd/conf

[root@rip10 html]# scp -r /etc/httpd/conf.d/fcgi.conf 192.168.37.20:/etc/httpd/conf.d/

[root@rip10 html]# systemctl restart httpd

RIP20

[root@rip20 html]# yum install -y php-fpm mariadb php-mysql


[root@rip20 html]# systemctl restart php-fpm httpd

LVS

[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 wlc
  -> 192.168.37.10:8080           Masq    6      0          119 

#-d删除
[root@lvs ~]# ipvsadm -d -t 192.168.1.7:80 -r 192.168.37.10:8080

#改成rr轮询
[root@lvs ~]# ipvsadm -E -t 192.168.1.7:80 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.1.7:80 -r 192.168.37.10:80 -m
[root@lvs ~]# ipvsadm -a -t 192.168.1.7:80 -r 192.168.37.20:80 -m
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 rr
  -> 192.168.37.10:80             Masq    1      0          0         
  -> 192.168.37.20:80             Masq    1      0          0

Windows测试

使用两个不同浏览器测试

保存及重载规则

保存：建议保存至/etc/sysconfig/ipvsadm

ipvsadm-seve > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
ipvsadm -C

重载：

ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service

[root@lvs ~]# systemctl start ipvsadm
[root@lvs ~]# ipvsadm-save 
-A -t lvs:http -s rr
-a -t lvs:http -r 192.168.37.10:http -m -w 1
-a -t lvs:http -r 192.168.37.20:http -m -w 1


[root@lvs ~]# ipvsadm-save  > /data/ipvs.log


[root@lvs ~]# ipvsadm -C
#重定向到指定文件

[root@lvs ~]# vim /etc/sysconfig/ipvsadm
-A -t 192.168.1.7:80 -s rr    <--注意IP地址
-a -t 192.168.1.7:80 -r 192.168.37.10:80 -m -w 1
-a -t 192.168.1.7:80 -r 192.168.37.20:80 -m -w 1


[root@lvs ~]# ipvsadm-restore < /etc/sysconfig/ipvsadm
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.7:80 rr
  -> 192.168.37.10:80             Masq    1      0          0         
  -> 192.168.37.20:80             Masq    1      0          0 
[root@lvs ~]# systemctl stop ipvsadm
[root@lvs ~]# systemctl enable ipvsadm
[root@lvs ~]# systemctl start ipvsadm

client

[root@centos6 ~]$ while  true; do curl http://192.168.1.7/index.html ;sleep 0.5;done
R20
R10
R20
R10
^C

上一篇：掌握LVS-ipvsadm命令的实用技巧

下一篇：详述LVS如何进行负载均衡：安装与配置步骤全解析