建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+谷歌浏览器 Firefox 30+ 火狐浏览器

什么是负载均衡,教你彻底搞懂负载均衡

发布者:售前毛毛   |    本文章发表于:2022-06-10       阅读数:10901

在业务初期,我们一般会先使用单台服务器对外提供服务。随着业务流量越来越大,单台服务器无论如何优化,无论采用多好的硬件,总会有性能天花板,当单服务器的性能无法满足业务需求时,就需要把多台服务器组成集群系统提高整体的处理性能。

基于上述需求,我们要使用统一的流量入口来对外提供服务,本质上就是需要一个流量调度器,通过均衡的算法,将用户大量的请求流量均衡地分发到集群中不同的服务器上。这其实就是我们今天要说的负载均衡,什么是负载均衡?

使用负载均衡可以给我们带来的几个好处:

提高了系统的整体性能;

提高了系统的扩展性;

提高了系统的可用性;


负载均衡类型

什么是负载均衡?广义上的负载均衡器大概可以分为 3 类,包括:DNS 方式实现负载均衡、硬件负载均衡、软件负载均衡。

(一)DNS 实现负载均衡

DNS 实现负载均衡是最基础简单的方式。一个域名通过 DNS 解析到多个 IP,每个 IP 对应不同的服务器实例,这样就完成了流量的调度,虽然没有使用常规的负载均衡器,但实现了简单的负载均衡功能。

image

通过 DNS 实现负载均衡的方式,最大的优点就是实现简单,成本低,无需自己开发或维护负载均衡设备,不过存在一些缺点:

①服务器故障切换延迟大,服务器升级不方便。我们知道 DNS 与用户之间是层层的缓存,即便是在故障发生时及时通过 DNS 修改或摘除故障服务器,但中间经过运营商的 DNS 缓存,且缓存很有可能不遵循 TTL 规则,导致 DNS 生效时间变得非常缓慢,有时候一天后还会有些许的请求流量。

②流量调度不均衡,粒度太粗。DNS 调度的均衡性,受地区运营商 LocalDNS 返回 IP 列表的策略有关系,有的运营商并不会轮询返回多个不同的 IP 地址。另外,某个运营商 LocalDNS 背后服务了多少用户,这也会构成流量调度不均的重要因素。

③流量分配策略太简单,支持的算法太少。DNS 一般只支持 rr 的轮询方式,流量分配策略比较简单,不支持权重、Hash 等调度算法。

④DNS 支持的 IP 列表有限制。我们知道 DNS 使用 UDP 报文进行信息传递,每个 UDP 报文大小受链路的 MTU 限制,所以报文中存储的 IP 地址数量也是非常有限的,阿里 DNS 系统针对同一个域名支持配置 10 个不同的 IP 地址。

(二)硬件负载均衡

硬件负载均衡是通过专门的硬件设备来实现负载均衡功能,是专用的负载均衡设备。目前业界典型的硬件负载均衡设备有两款:F5和A10。

这类设备性能强劲、功能强大,但价格非常昂贵,一般只有土豪公司才会使用此类设备,中小公司一般负担不起,业务量没那么大,用这些设备也是挺浪费的。

硬件负载均衡的优点:

功能强大:全面支持各层级的负载均衡,支持全面的负载均衡算法。

性能强大:性能远超常见的软件负载均衡器。

稳定性高:商用硬件负载均衡,经过了良好的严格测试,经过大规模使用,稳定性高。

安全防护:还具备防火墙、防 DDoS 攻击等安全功能,以及支持 SNAT 功能。

硬件负载均衡的缺点也很明显:

①价格贵;

②扩展性差,无法进行扩展和定制;

③调试和维护比较麻烦,需要专业人员;

(三)软件负载均衡

软件负载均衡,可以在普通的服务器上运行负载均衡软件,实现负载均衡功能。目前常见的有 Nginx、HAproxy、LVS。其中的区别:

Nginx:七层负载均衡,支持 HTTP、E-mail 协议,同时也支持 4 层负载均衡;

HAproxy:支持七层规则的,性能也很不错。OpenStack 默认使用的负载均衡软件就是 HAproxy;

LVS:运行在内核态,性能是软件负载均衡中最高的,严格来说工作在三层,所以更通用一些,适用各种应用服务。

软件负载均衡的优点:

易操作:无论是部署还是维护都相对比较简单;

便宜:只需要服务器的成本,软件是免费的;

灵活:4 层和 7 层负载均衡可以根据业务特点进行选择,方便进行扩展和定制功能。


负载均衡LVS

软件负载均衡主要包括:Nginx、HAproxy 和 LVS,三款软件都比较常用。四层负载均衡基本上都会使用 LVS,据了解 BAT 等大厂都是 LVS 重度使用者,就是因为 LVS 非常出色的性能,能为公司节省巨大的成本。

LVS,全称 Linux Virtual Server 是由国人章文嵩博士发起的一个开源的项目,在社区具有很大的热度,是一个基于四层、具有强大性能的反向代理服务器。

它现在是标准内核的一部分,它具备可靠性、高性能、可扩展性和可操作性的特点,从而以低廉的成本实现最优的性能。


Netfilter基础原理

LVS 是基于 Linux 内核中 netfilter 框架实现的负载均衡功能,所以要学习 LVS 之前必须要先简单了解 netfilter 基本工作原理。netfilter 其实很复杂,平时我们说的 Linux 防火墙就是 netfilter,不过我们平时操作的都是 iptables,iptables 只是用户空间编写和传递规则的工具而已,真正工作的是 netfilter。通过下图可以简单了解下 netfilter 的工作机制:

image

netfilter 是内核态的 Linux 防火墙机制,作为一个通用、抽象的框架,提供了一整套的 hook 函数管理机制,提供诸如数据包过滤、网络地址转换、基于协议类型的连接跟踪的功能。

通俗点讲,就是 netfilter 提供一种机制,可以在数据包流经过程中,根据规则设置若干个关卡(hook 函数)来执行相关的操作。netfilter 总共设置了 5 个点,包括:

①PREROUTING :刚刚进入网络层,还未进行路由查找的包,通过此处

②INPUT :通过路由查找,确定发往本机的包,通过此处

③FORWARD :经路由查找后,要转发的包,在POST_ROUTING之前

④OUTPUT :从本机进程刚发出的包,通过此处

⑤POSTROUTING :进入网络层已经经过路由查找,确定转发,将要离开本设备的包,通过此处

当一个数据包进入网卡,经过链路层之后进入网络层就会到达 PREROUTING,接着根据目标 IP 地址进行路由查找,如果目标 IP 是本机,数据包继续传递到 INPUT 上,经过协议栈后根据端口将数据送到相应的应用程序。

应用程序处理请求后将响应数据包发送到 OUTPUT 上,最终通过 POSTROUTING 后发送出网卡。

如果目标 IP 不是本机,而且服务器开启了 forward 参数,就会将数据包递送给 FORWARD 上,最后通过 POSTROUTING 后发送出网卡。


LVS基础原理

LVS 是基于 netfilter 框架,主要工作于 INPUT 链上,在 INPUT 上注册 ip_vs_in HOOK 函数,进行 IPVS 主流程,大概原理如图所示:

image

当用户访问 www.sina.com.cn 时,用户数据通过层层网络,最后通过交换机进入 LVS 服务器网卡,并进入内核网络层。

进入 PREROUTING 后经过路由查找,确定访问的目的 VIP 是本机 IP 地址,所以数据包进入到 INPUT 链上

LVS 是工作在 INPUT 链上,会根据访问的 IP:Port 判断请求是否是 LVS 服务,如果是则进行 LVS 主流程,强行修改数据包的相关数据,并将数据包发往 POSTROUTING 链上。

POSTROUTING 上收到数据包后,根据目标 IP 地址(后端真实服务器),通过路由选路,将数据包最终发往后端的服务器上。

开源 LVS 版本有 3 种工作模式,每种模式工作原理都不同,每种模式都有自己的优缺点和不同的应用场景,包括以下三种模式:

①DR 模式

②NAT 模式

③Tunnel 模式

这里必须要提另外一种模式是 FullNAT,这个模式在开源版本中是模式没有的。这个模式最早起源于百度,后来又在阿里发扬光大,由阿里团队开源,代码地址如下:

https://github.com/alibaba/lvs

LVS 官网也有相关下载地址,不过并没有合进到内核主线版本。

后面会有专门章节详细介绍 FullNAT 模式。下边分别就 DR、NAT、Tunnel 模式分别详细介绍原理。

DR 模式实现原理

LVS 基本原理图中描述的比较简单,表述的是比较通用流程。下边会针对 DR 模式的具体实现原理,详细的阐述 DR 模式是如何工作的。

image


(一)实现原理过程

① 当客户端请求 www.sina.com.cn 主页,请求数据包穿过网络到达 Sina 的 LVS 服务器网卡:源 IP 是客户端 IP 地址 CIP,目的 IP 是新浪对外的服务器 IP 地址,也就是 VIP;此时源 MAC 地址是 CMAC,其实是 LVS 连接的路由器的 MAC 地址(为了容易理解记为 CMAC),目标 MAC 地址是 VIP 对应的 MAC,记为 VMAC。

② 数据包经过链路层到达 PREROUTING 位置(刚进入网络层),查找路由发现目的 IP 是 LVS 的 VIP,就会递送到 INPUT 链上,此时数据包 MAC、IP、Port 都没有修改。

③ 数据包到达 INPUT 链,INPUT 是 LVS 主要工作的位置。此时 LVS 会根据目的 IP 和 Port 来确认是否是 LVS 定义的服务,如果是定义过的 VIP 服务,就会根据配置信息,从真实服务器列表 中选择一个作为 RS1,然后以 RS1 作为目标查找 Out 方向的路由,确定一下跳信息以及数据包要通过哪个网卡发出。最后将数据包投递到 OUTPUT 链上。

④ 数据包通过 POSTROUTING 链后,从网络层转到链路层,将目的 MAC 地址修改为 RealServer 服务器 MAC 地址,记为 RMAC;而源 MAC 地址修改为 LVS 与 RS 同网段的 selfIP 对应的 MAC 地址,记为 DMAC。此时,数据包通过交换机转发给了 RealServer 服务器(注:为了简单图中没有画交换机)。

⑤ 请求数据包到达后端真实服务器后,链路层检查目的 MAC 是自己网卡地址。到了网络层,查找路由,目的 IP 是 VIP(lo 上配置了 VIP),判定是本地主机的数据包,经过协议栈拷贝至应用程序(比如 nginx 服务器),nginx 响应请求后,产生响应数据包。


然后以 CIP 查找出方向的路由,确定下一跳信息和发送网卡设备信息。此时数据包源、目的 IP 分别是 VIP、CIP,而源 MAC 地址是 RS1 的 RMAC,目的 MAC 是下一跳(路由器)的 MAC 地址,记为 CMAC(为了容易理解,记为 CMAC)。然后数据包通过 RS 相连的路由器转发给真正客户端,完成了请求响应的全过程。

从整个过程可以看出,DR 模式 LVS 逻辑比较简单,数据包通过直接路由方式转发给后端服务器,而且响应数据包是由 RS 服务器直接发送给客户端,不经过 LVS。


我们知道通常请求数据包会比较小,响应报文较大,经过 LVS 的数据包基本上都是小包,所以这也是 LVS 的 DR 模式性能强大的主要原因。


(二)优缺点和使用场景

DR 模式的优点

1.响应数据不经过 lvs,性能高

2.对数据包修改小,信息保存完整(携带客户端源 IP)

DR 模式的缺点

1.lvs 与 rs 必须在同一个物理网络(不支持跨机房)

2.服务器上必须配置 lo 和其它内核参数

3.不支持端口映射


DR 模式的使用场景

如果对性能要求非常高,可以首选 DR 模式,而且可以透传客户端源 IP 地址。


NAT 模式实现原理

image

(一)实现原理与过程

① 用户请求数据包经过层层网络,到达 lvs 网卡,此时数据包源 IP 是 CIP,目的 IP 是 VIP。

② 经过网卡进入网络层 prerouting 位置,根据目的 IP 查找路由,确认是本机 IP,将数据包转发到 INPUT 上,此时源、目的 IP 都未发生变化。

③ 到达 lvs 后,通过目的 IP 和目的 port 查找是否为 IPVS 服务。若是 IPVS 服务,则会选择一个 RS 作为后端服务器,将数据包目的 IP 修改为 RIP,并以 RIP 为目的 IP 查找路由信息,确定下一跳和出口信息,将数据包转发至 output 上。

④ 修改后的数据包经过 postrouting 和链路层处理后,到达 RS 服务器,此时的数据包源 IP 是 CIP,目的 IP 是 RIP。

⑤ 到达 RS 服务器的数据包经过链路层和网络层检查后,被送往用户空间 nginx 程序。nginx 程序处理完毕,发送响应数据包,由于 RS 上默认网关配置为 lvs 设备 IP,所以 nginx 服务器会将数据包转发至下一跳,也就是 lvs 服务器。此时数据包源 IP 是 RIP,目的 IP 是 CIP。

⑥ lvs 服务器收到 RS 响应数据包后,根据路由查找,发现目的 IP 不是本机 IP,且 lvs 服务器开启了转发模式,所以将数据包转发给 forward 链,此时数据包未作修改。

⑦ lvs 收到响应数据包后,根据目的 IP 和目的 port 查找服务和连接表,将源 IP 改为 VIP,通过路由查找,确定下一跳和出口信息,将数据包发送至网关,经过复杂的网络到达用户客户端,最终完成了一次请求和响应的交互。

NAT 模式双向流量都经过 LVS,因此 NAT 模式性能会存在一定的瓶颈。不过与其它模式区别的是,NAT 支持端口映射,且支持 windows 操作系统。


NAT 模式优点

1.能够支持 windows 操作系统

2.支持端口映射。

如果 rs 端口与 vport 不一致,lvs 除了修改目的 IP,也会修改 dport 以支持端口映射。


NAT 模式缺点

1.后端 RS 需要配置网关

2.双向流量对 lvs 负载压力比较大


NAT 模式的使用场景

如果你是 windows 系统,使用 lvs 的话,则必须选择 NAT 模式了。


Tunnel 模式在国内使用的比较少,不过据说腾讯使用了大量的 Tunnel 模式。它也是一种单臂的模式,只有请求数据会经过 lvs,响应数据直接从后端服务器发送给客户端,性能也很强大,同时支持跨机房。下边继续看图分析原理。

image


(一)实现原理与过程

① 用户请求数据包经过多层网络,到达 lvs 网卡,此时数据包源 IP 是 cip,目的 ip 是 vip。

② 经过网卡进入网络层 prerouting 位置,根据目的 ip 查找路由,确认是本机 ip,将数据包转发到 input 链上,到达 lvs,此时源、目的 ip 都未发生变化。

③ 到达 lvs 后,通过目的 ip 和目的 port 查找是否为 IPVS 服务。若是 IPVS 服务,则会选择一个 rs 作为后端服务器,以 rip 为目的 ip 查找路由信息,确定下一跳、dev 等信息,然后 IP 头部前边额外增加了一个 IP 头(以 dip 为源,rip 为目的 ip),将数据包转发至 output 上。

④ 数据包根据路由信息经最终经过 lvs 网卡,发送至路由器网关,通过网络到达后端服务器。

⑤ 后端服务器收到数据包后,ipip 模块将 Tunnel 头部卸载,正常看到的源 ip 是 cip,目的 ip 是 vip,由于在 tunl0 上配置 vip,路由查找后判定为本机 ip,送往应用程序。应用程序 nginx 正常响应数据后以 vip 为源 ip,cip 为目的 ip 数据包发送出网卡,最终到达客户端。


Tunnel 模式具备 DR 模式的高性能,又支持跨机房访问,听起来比较完美。不过国内运营商有一定特色性,比如 RS 的响应数据包的源 IP 为 VIP,VIP 与后端服务器有可能存在跨运营商的情况,很有可能被运营商的策略封掉,Tunnel 在生产环境确实没有使用过,在国内推行 Tunnel 可能会有一定的难度吧。


(二)优点、缺点与使用场景

Tunnel 模式的优点

1.单臂模式,对 lvs 负载压力小

2.对数据包修改较小,信息保存完整

3.可跨机房(不过在国内实现有难度)


Tunnel 模式的缺点

1.需要在后端服务器安装配置 ipip 模块

2.需要在后端服务器 tunl0 配置 vip

3.隧道头部的加入可能导致分片,影响服务器性能

4.隧道头部 IP 地址固定,后端服务器网卡 hash 可能不均

5.不支持端口映射


Tunnel 模式的使用场景

理论上,如果对转发性能要求较高,且有跨机房需求,Tunnel 可能是较好的选择。

以上是主题为:什么是负载均衡?的教学全部内容,希望对您有帮助!

快快网络致力于安全防护、服务器高防、网络高防、ddos防护、cc防护、dns防护、防劫持、高防服务器、网站防护等方面的服务,自研的WAF提供任意CC和DDOS攻击防御。

更多详情联系客服QQ 537013901


相关文章 点击查看更多文章>
01

为什么网络攻击绝大多数发生在游戏行业?

随着互联网的普及和技术的发展,游戏行业在近年来呈现出爆炸性的增长,全球数以亿计的游戏玩家享受着网络游戏带来的广泛互动体验。然而,与此同时,游戏行业也成为了网络攻击的重灾区。究竟是什么原因使得网络攻击多数瞄准游戏行业呢?游戏行业的巨大经济利益是网络攻击者的一大诱因。网络游戏每年在全球产生数百亿美元的收入,如此丰厚的经济收益让网络攻击者趋之若鹜。他们希望通过攻击游戏系统,窃取用户数据、虚拟物品或游戏内货币,甚至直接瘫痪游戏服务器,从而获取经济利益。这种利益驱动使得游戏行业成为了网络犯罪分子的首选目标。游戏玩家庞大的用户群为黑客提供了丰富的个人信息资料。这些个人信息包括用户姓名、邮箱、密码等敏感数据,一旦泄露,可能被用于身份盗窃、网络诈骗等恶意目的。游戏玩家的个人信息不仅价值高,而且获取难度相对较低,因此游戏行业成为了黑客们眼中的信息宝库。游戏行业的特性也增加了其遭受网络攻击的风险。许多游戏玩家喜欢使用模组、作弊工具或其他第三方程序来修改游戏,这些第三方程序往往存在安全隐患,容易被黑客利用进行攻击。此外,游戏行业竞争激烈,一些玩家为了获取游戏内的优势,可能会利用漏洞进行作弊或攻击其他玩家,这种行为也为黑客提供了可乘之机。技术层面的漏洞也是游戏行业频繁遭受网络攻击的原因之一。游戏系统通常包含复杂的Web应用程序和API,这些技术一直存在被攻击者利用的漏洞。例如,跨站脚本攻击(XSS)和分布式拒绝服务(DDoS)攻击等常见网络攻击手段,都可以针对游戏系统的漏洞进行攻击。一旦攻击成功,不仅会导致游戏服务中断,还可能造成用户数据泄露等严重后果。游戏行业的监管相对较为宽松,也使得其更容易成为网络攻击的目标。相比受到严格监管的金融、医疗等行业,游戏行业的安全标准和防护措施往往不够完善,这给了黑客更多的可乘之机。游戏行业之所以成为网络攻击的重灾区,主要是由于其巨大的经济利益、庞大的用户群、行业特性、技术漏洞以及相对宽松的监管环境等多方面因素共同作用的结果。为了保障游戏行业的安全和玩家的利益,游戏公司需要加强安全防护措施,提高用户安全意识,共同构建一个安全、健康的网络游戏环境。

售前甜甜 2024-12-17 15:00:00

02

什么是STP?STP有什么用?

本文针对企业网络管理人员,以通俗化语言解析 STP(生成树协议)的基本原理、核心功能及配置流程。通过清晰解读,助力管理人员解决网络环路引发的卡顿、瘫痪等问题,保障企业网络稳定运行。一、STP 的定义STP(生成树协议)是一种网络环路防护机制。当网络中存在多条物理连接形成环路时,数据会在环路中持续循环,导致网络资源耗尽、通信拥堵。STP 可自动检测环路并阻断冗余链路,仅保留一条最优路径,确保数据按固定路线传输,避免网络混乱。二、STP 的核心功能解决网络环路导致的拥堵:多台交换机互联时易形成环路,造成数据无限循环、资源占用激增,STP 通过阻断冗余链路,恢复网络正常通信。减少设备连接不稳定问题:环路会引发信号冲突,导致设备频繁掉线,启用 STP 后,网络路径保持稳定,可显著降低设备离线概率。支持网络安全扩容:企业规模扩大需增加交换机时,STP 能自动适配新拓扑,避免新增连接形成环路,为网络扩展提供保障。三、STP 的工作原理根桥选举:STP 通过比较交换机优先级(数值越小优先级越高),在网络中选举一台交换机作为 “根桥”(核心节点),其他交换机均以根桥为中心建立通信路径。根端口确定:非根桥交换机会计算并选择一条到根桥的最短路径,对应连接端口即为 “根端口”,作为数据传输的主要通道。冗余链路阻断:对于网络中除最优路径外的冗余连接,STP 会将其暂时置于 “阻塞” 状态,仅在主路径故障时启用,既消除环路又保留备份链路。四、STP 配置教程登录管理界面:通过浏览器访问交换机 IP 地址(如 192.168.0.1),输入管理员账号及密码(通常标注于设备说明书或机身标签)。启用 STP 功能:在交换机设置中找到 “STP 配置” 选项,勾选 “启用 STP” 并保存。不同品牌设备路径可能不同,可在 “网络协议”“高级设置” 等菜单中查找。配置根桥优先级:如需指定特定交换机为根桥,在 STP 设置中调整 “优先级” 数值(默认 32768,建议改为 4096 以提高优先级),保存后该设备将优先成为根桥。验证配置效果:在 “STP 状态” 页面查看根桥信息及被阻塞端口。若网络运行正常,说明配置生效;若存在异常,需检查端口连接及参数设置。五、STP 配置注意事项保持 STP 启用状态:即使网络拓扑简单,也不应随意关闭 STP,避免突发环路导致网络瘫痪。合理选择根桥设备:优先选择性能较强、位置居中的交换机作为根桥,缩短数据传输路径,提升网络效率。定期检查运行状态:网络拓扑变动(如增减设备)后,需确认 STP 是否正常工作,防止新环路出现。STP 是保障企业网络稳定的基础协议,理解其原理并正确配置,可有效解决环路问题,避免网络卡顿与瘫痪,为业务顺畅运行提供支撑。

售前三七 2025-07-23 15:00:00

03

Windows2008系统如何搭建iis搭建网站,搭建IIS网站教程

对于初次涉及网站建设的客户,很多可能不清楚windows2008安装iis和2003安装iis哪里不一样。,相对来说,windows2008安装iis还是比较好操作的。今天快快网络苒苒Q712730904就给大家介绍一下windows2008安装IIS的具体步骤1.右键计算机→管理→选择角色→添加角色如下2.下一步3.勾选web服务器(iis)下一步4.根据需要勾选需要的服务5.下一步,点击安装即可到这里windows2008系统iis安装已经完成。打开浏览器输入:http://localhost/,如果看到如下界面就说明iis安装成功了。下面我们搭建一个iis网站。网站有许多不同的环境,我们以iis7+php5+mysql5的环境为例。1,开始→管理工具→internet信息服务(iis),打开iis.2,打开iis后,依次打开折叠项,找到网站,右键添加网站。3,填写相关项,点击确定,新建网站就完成了。ip地址: 可以选择全部未分配也选择本机的ip地址。建议选择本机IP地址端口:就是用户访问网站的地址的端口号,默认是80也可以更改,如果改为其他的,用户打开网站需要在网址的后面加上:端口号。例如端口801,域名www.test.com则用户打开需要使用网址 www.test.com:801。IIS默认网站使用了80端口,我们此次测试就使用801端口。主机名:即网站域名,使用主机名就可以搭建多个网站都使用80端口。www.test.com只是说明绑定域名用,此次实际测试中主机名是留空的。4,配置iis支持php。双击左边“起始页”下面的计算机名称找到中间的IIS部分,打开“处理程序映射”点右边的“添加模块映射”请求路径:*.php模块:FastCgiModule可执行文件(可选):D:\php\php-cgi.exe名称:FastCGI最后,确定点“是”5,双击左边“起始页”下面的计算机名称找到中间的IIS部分,打开“默认文档”选中index.php,连续点击右侧“上移”,使它移至最上面6,设置完成后进行测试。在网站根目录新建一个index.php文件内容如下:最后,保存退出在浏览器里面打开http://localhost:801。出现下面的界面,说明配置成功!更多问题欢迎随时联系Q712730904 快快网络苒苒

售前苒苒 2021-11-25 16:55:01

新闻中心 > 市场资讯

查看更多文章 >
什么是负载均衡,教你彻底搞懂负载均衡

发布者:售前毛毛   |    本文章发表于:2022-06-10

在业务初期,我们一般会先使用单台服务器对外提供服务。随着业务流量越来越大,单台服务器无论如何优化,无论采用多好的硬件,总会有性能天花板,当单服务器的性能无法满足业务需求时,就需要把多台服务器组成集群系统提高整体的处理性能。

基于上述需求,我们要使用统一的流量入口来对外提供服务,本质上就是需要一个流量调度器,通过均衡的算法,将用户大量的请求流量均衡地分发到集群中不同的服务器上。这其实就是我们今天要说的负载均衡,什么是负载均衡?

使用负载均衡可以给我们带来的几个好处:

提高了系统的整体性能;

提高了系统的扩展性;

提高了系统的可用性;


负载均衡类型

什么是负载均衡?广义上的负载均衡器大概可以分为 3 类,包括:DNS 方式实现负载均衡、硬件负载均衡、软件负载均衡。

(一)DNS 实现负载均衡

DNS 实现负载均衡是最基础简单的方式。一个域名通过 DNS 解析到多个 IP,每个 IP 对应不同的服务器实例,这样就完成了流量的调度,虽然没有使用常规的负载均衡器,但实现了简单的负载均衡功能。

image

通过 DNS 实现负载均衡的方式,最大的优点就是实现简单,成本低,无需自己开发或维护负载均衡设备,不过存在一些缺点:

①服务器故障切换延迟大,服务器升级不方便。我们知道 DNS 与用户之间是层层的缓存,即便是在故障发生时及时通过 DNS 修改或摘除故障服务器,但中间经过运营商的 DNS 缓存,且缓存很有可能不遵循 TTL 规则,导致 DNS 生效时间变得非常缓慢,有时候一天后还会有些许的请求流量。

②流量调度不均衡,粒度太粗。DNS 调度的均衡性,受地区运营商 LocalDNS 返回 IP 列表的策略有关系,有的运营商并不会轮询返回多个不同的 IP 地址。另外,某个运营商 LocalDNS 背后服务了多少用户,这也会构成流量调度不均的重要因素。

③流量分配策略太简单,支持的算法太少。DNS 一般只支持 rr 的轮询方式,流量分配策略比较简单,不支持权重、Hash 等调度算法。

④DNS 支持的 IP 列表有限制。我们知道 DNS 使用 UDP 报文进行信息传递,每个 UDP 报文大小受链路的 MTU 限制,所以报文中存储的 IP 地址数量也是非常有限的,阿里 DNS 系统针对同一个域名支持配置 10 个不同的 IP 地址。

(二)硬件负载均衡

硬件负载均衡是通过专门的硬件设备来实现负载均衡功能,是专用的负载均衡设备。目前业界典型的硬件负载均衡设备有两款:F5和A10。

这类设备性能强劲、功能强大,但价格非常昂贵,一般只有土豪公司才会使用此类设备,中小公司一般负担不起,业务量没那么大,用这些设备也是挺浪费的。

硬件负载均衡的优点:

功能强大:全面支持各层级的负载均衡,支持全面的负载均衡算法。

性能强大:性能远超常见的软件负载均衡器。

稳定性高:商用硬件负载均衡,经过了良好的严格测试,经过大规模使用,稳定性高。

安全防护:还具备防火墙、防 DDoS 攻击等安全功能,以及支持 SNAT 功能。

硬件负载均衡的缺点也很明显:

①价格贵;

②扩展性差,无法进行扩展和定制;

③调试和维护比较麻烦,需要专业人员;

(三)软件负载均衡

软件负载均衡,可以在普通的服务器上运行负载均衡软件,实现负载均衡功能。目前常见的有 Nginx、HAproxy、LVS。其中的区别:

Nginx:七层负载均衡,支持 HTTP、E-mail 协议,同时也支持 4 层负载均衡;

HAproxy:支持七层规则的,性能也很不错。OpenStack 默认使用的负载均衡软件就是 HAproxy;

LVS:运行在内核态,性能是软件负载均衡中最高的,严格来说工作在三层,所以更通用一些,适用各种应用服务。

软件负载均衡的优点:

易操作:无论是部署还是维护都相对比较简单;

便宜:只需要服务器的成本,软件是免费的;

灵活:4 层和 7 层负载均衡可以根据业务特点进行选择,方便进行扩展和定制功能。


负载均衡LVS

软件负载均衡主要包括:Nginx、HAproxy 和 LVS,三款软件都比较常用。四层负载均衡基本上都会使用 LVS,据了解 BAT 等大厂都是 LVS 重度使用者,就是因为 LVS 非常出色的性能,能为公司节省巨大的成本。

LVS,全称 Linux Virtual Server 是由国人章文嵩博士发起的一个开源的项目,在社区具有很大的热度,是一个基于四层、具有强大性能的反向代理服务器。

它现在是标准内核的一部分,它具备可靠性、高性能、可扩展性和可操作性的特点,从而以低廉的成本实现最优的性能。


Netfilter基础原理

LVS 是基于 Linux 内核中 netfilter 框架实现的负载均衡功能,所以要学习 LVS 之前必须要先简单了解 netfilter 基本工作原理。netfilter 其实很复杂,平时我们说的 Linux 防火墙就是 netfilter,不过我们平时操作的都是 iptables,iptables 只是用户空间编写和传递规则的工具而已,真正工作的是 netfilter。通过下图可以简单了解下 netfilter 的工作机制:

image

netfilter 是内核态的 Linux 防火墙机制,作为一个通用、抽象的框架,提供了一整套的 hook 函数管理机制,提供诸如数据包过滤、网络地址转换、基于协议类型的连接跟踪的功能。

通俗点讲,就是 netfilter 提供一种机制,可以在数据包流经过程中,根据规则设置若干个关卡(hook 函数)来执行相关的操作。netfilter 总共设置了 5 个点,包括:

①PREROUTING :刚刚进入网络层,还未进行路由查找的包,通过此处

②INPUT :通过路由查找,确定发往本机的包,通过此处

③FORWARD :经路由查找后,要转发的包,在POST_ROUTING之前

④OUTPUT :从本机进程刚发出的包,通过此处

⑤POSTROUTING :进入网络层已经经过路由查找,确定转发,将要离开本设备的包,通过此处

当一个数据包进入网卡,经过链路层之后进入网络层就会到达 PREROUTING,接着根据目标 IP 地址进行路由查找,如果目标 IP 是本机,数据包继续传递到 INPUT 上,经过协议栈后根据端口将数据送到相应的应用程序。

应用程序处理请求后将响应数据包发送到 OUTPUT 上,最终通过 POSTROUTING 后发送出网卡。

如果目标 IP 不是本机,而且服务器开启了 forward 参数,就会将数据包递送给 FORWARD 上,最后通过 POSTROUTING 后发送出网卡。


LVS基础原理

LVS 是基于 netfilter 框架,主要工作于 INPUT 链上,在 INPUT 上注册 ip_vs_in HOOK 函数,进行 IPVS 主流程,大概原理如图所示:

image

当用户访问 www.sina.com.cn 时,用户数据通过层层网络,最后通过交换机进入 LVS 服务器网卡,并进入内核网络层。

进入 PREROUTING 后经过路由查找,确定访问的目的 VIP 是本机 IP 地址,所以数据包进入到 INPUT 链上

LVS 是工作在 INPUT 链上,会根据访问的 IP:Port 判断请求是否是 LVS 服务,如果是则进行 LVS 主流程,强行修改数据包的相关数据,并将数据包发往 POSTROUTING 链上。

POSTROUTING 上收到数据包后,根据目标 IP 地址(后端真实服务器),通过路由选路,将数据包最终发往后端的服务器上。

开源 LVS 版本有 3 种工作模式,每种模式工作原理都不同,每种模式都有自己的优缺点和不同的应用场景,包括以下三种模式:

①DR 模式

②NAT 模式

③Tunnel 模式

这里必须要提另外一种模式是 FullNAT,这个模式在开源版本中是模式没有的。这个模式最早起源于百度,后来又在阿里发扬光大,由阿里团队开源,代码地址如下:

https://github.com/alibaba/lvs

LVS 官网也有相关下载地址,不过并没有合进到内核主线版本。

后面会有专门章节详细介绍 FullNAT 模式。下边分别就 DR、NAT、Tunnel 模式分别详细介绍原理。

DR 模式实现原理

LVS 基本原理图中描述的比较简单,表述的是比较通用流程。下边会针对 DR 模式的具体实现原理,详细的阐述 DR 模式是如何工作的。

image


(一)实现原理过程

① 当客户端请求 www.sina.com.cn 主页,请求数据包穿过网络到达 Sina 的 LVS 服务器网卡:源 IP 是客户端 IP 地址 CIP,目的 IP 是新浪对外的服务器 IP 地址,也就是 VIP;此时源 MAC 地址是 CMAC,其实是 LVS 连接的路由器的 MAC 地址(为了容易理解记为 CMAC),目标 MAC 地址是 VIP 对应的 MAC,记为 VMAC。

② 数据包经过链路层到达 PREROUTING 位置(刚进入网络层),查找路由发现目的 IP 是 LVS 的 VIP,就会递送到 INPUT 链上,此时数据包 MAC、IP、Port 都没有修改。

③ 数据包到达 INPUT 链,INPUT 是 LVS 主要工作的位置。此时 LVS 会根据目的 IP 和 Port 来确认是否是 LVS 定义的服务,如果是定义过的 VIP 服务,就会根据配置信息,从真实服务器列表 中选择一个作为 RS1,然后以 RS1 作为目标查找 Out 方向的路由,确定一下跳信息以及数据包要通过哪个网卡发出。最后将数据包投递到 OUTPUT 链上。

④ 数据包通过 POSTROUTING 链后,从网络层转到链路层,将目的 MAC 地址修改为 RealServer 服务器 MAC 地址,记为 RMAC;而源 MAC 地址修改为 LVS 与 RS 同网段的 selfIP 对应的 MAC 地址,记为 DMAC。此时,数据包通过交换机转发给了 RealServer 服务器(注:为了简单图中没有画交换机)。

⑤ 请求数据包到达后端真实服务器后,链路层检查目的 MAC 是自己网卡地址。到了网络层,查找路由,目的 IP 是 VIP(lo 上配置了 VIP),判定是本地主机的数据包,经过协议栈拷贝至应用程序(比如 nginx 服务器),nginx 响应请求后,产生响应数据包。


然后以 CIP 查找出方向的路由,确定下一跳信息和发送网卡设备信息。此时数据包源、目的 IP 分别是 VIP、CIP,而源 MAC 地址是 RS1 的 RMAC,目的 MAC 是下一跳(路由器)的 MAC 地址,记为 CMAC(为了容易理解,记为 CMAC)。然后数据包通过 RS 相连的路由器转发给真正客户端,完成了请求响应的全过程。

从整个过程可以看出,DR 模式 LVS 逻辑比较简单,数据包通过直接路由方式转发给后端服务器,而且响应数据包是由 RS 服务器直接发送给客户端,不经过 LVS。


我们知道通常请求数据包会比较小,响应报文较大,经过 LVS 的数据包基本上都是小包,所以这也是 LVS 的 DR 模式性能强大的主要原因。


(二)优缺点和使用场景

DR 模式的优点

1.响应数据不经过 lvs,性能高

2.对数据包修改小,信息保存完整(携带客户端源 IP)

DR 模式的缺点

1.lvs 与 rs 必须在同一个物理网络(不支持跨机房)

2.服务器上必须配置 lo 和其它内核参数

3.不支持端口映射


DR 模式的使用场景

如果对性能要求非常高,可以首选 DR 模式,而且可以透传客户端源 IP 地址。


NAT 模式实现原理

image

(一)实现原理与过程

① 用户请求数据包经过层层网络,到达 lvs 网卡,此时数据包源 IP 是 CIP,目的 IP 是 VIP。

② 经过网卡进入网络层 prerouting 位置,根据目的 IP 查找路由,确认是本机 IP,将数据包转发到 INPUT 上,此时源、目的 IP 都未发生变化。

③ 到达 lvs 后,通过目的 IP 和目的 port 查找是否为 IPVS 服务。若是 IPVS 服务,则会选择一个 RS 作为后端服务器,将数据包目的 IP 修改为 RIP,并以 RIP 为目的 IP 查找路由信息,确定下一跳和出口信息,将数据包转发至 output 上。

④ 修改后的数据包经过 postrouting 和链路层处理后,到达 RS 服务器,此时的数据包源 IP 是 CIP,目的 IP 是 RIP。

⑤ 到达 RS 服务器的数据包经过链路层和网络层检查后,被送往用户空间 nginx 程序。nginx 程序处理完毕,发送响应数据包,由于 RS 上默认网关配置为 lvs 设备 IP,所以 nginx 服务器会将数据包转发至下一跳,也就是 lvs 服务器。此时数据包源 IP 是 RIP,目的 IP 是 CIP。

⑥ lvs 服务器收到 RS 响应数据包后,根据路由查找,发现目的 IP 不是本机 IP,且 lvs 服务器开启了转发模式,所以将数据包转发给 forward 链,此时数据包未作修改。

⑦ lvs 收到响应数据包后,根据目的 IP 和目的 port 查找服务和连接表,将源 IP 改为 VIP,通过路由查找,确定下一跳和出口信息,将数据包发送至网关,经过复杂的网络到达用户客户端,最终完成了一次请求和响应的交互。

NAT 模式双向流量都经过 LVS,因此 NAT 模式性能会存在一定的瓶颈。不过与其它模式区别的是,NAT 支持端口映射,且支持 windows 操作系统。


NAT 模式优点

1.能够支持 windows 操作系统

2.支持端口映射。

如果 rs 端口与 vport 不一致,lvs 除了修改目的 IP,也会修改 dport 以支持端口映射。


NAT 模式缺点

1.后端 RS 需要配置网关

2.双向流量对 lvs 负载压力比较大


NAT 模式的使用场景

如果你是 windows 系统,使用 lvs 的话,则必须选择 NAT 模式了。


Tunnel 模式在国内使用的比较少,不过据说腾讯使用了大量的 Tunnel 模式。它也是一种单臂的模式,只有请求数据会经过 lvs,响应数据直接从后端服务器发送给客户端,性能也很强大,同时支持跨机房。下边继续看图分析原理。

image


(一)实现原理与过程

① 用户请求数据包经过多层网络,到达 lvs 网卡,此时数据包源 IP 是 cip,目的 ip 是 vip。

② 经过网卡进入网络层 prerouting 位置,根据目的 ip 查找路由,确认是本机 ip,将数据包转发到 input 链上,到达 lvs,此时源、目的 ip 都未发生变化。

③ 到达 lvs 后,通过目的 ip 和目的 port 查找是否为 IPVS 服务。若是 IPVS 服务,则会选择一个 rs 作为后端服务器,以 rip 为目的 ip 查找路由信息,确定下一跳、dev 等信息,然后 IP 头部前边额外增加了一个 IP 头(以 dip 为源,rip 为目的 ip),将数据包转发至 output 上。

④ 数据包根据路由信息经最终经过 lvs 网卡,发送至路由器网关,通过网络到达后端服务器。

⑤ 后端服务器收到数据包后,ipip 模块将 Tunnel 头部卸载,正常看到的源 ip 是 cip,目的 ip 是 vip,由于在 tunl0 上配置 vip,路由查找后判定为本机 ip,送往应用程序。应用程序 nginx 正常响应数据后以 vip 为源 ip,cip 为目的 ip 数据包发送出网卡,最终到达客户端。


Tunnel 模式具备 DR 模式的高性能,又支持跨机房访问,听起来比较完美。不过国内运营商有一定特色性,比如 RS 的响应数据包的源 IP 为 VIP,VIP 与后端服务器有可能存在跨运营商的情况,很有可能被运营商的策略封掉,Tunnel 在生产环境确实没有使用过,在国内推行 Tunnel 可能会有一定的难度吧。


(二)优点、缺点与使用场景

Tunnel 模式的优点

1.单臂模式,对 lvs 负载压力小

2.对数据包修改较小,信息保存完整

3.可跨机房(不过在国内实现有难度)


Tunnel 模式的缺点

1.需要在后端服务器安装配置 ipip 模块

2.需要在后端服务器 tunl0 配置 vip

3.隧道头部的加入可能导致分片,影响服务器性能

4.隧道头部 IP 地址固定,后端服务器网卡 hash 可能不均

5.不支持端口映射


Tunnel 模式的使用场景

理论上,如果对转发性能要求较高,且有跨机房需求,Tunnel 可能是较好的选择。

以上是主题为:什么是负载均衡?的教学全部内容,希望对您有帮助!

快快网络致力于安全防护、服务器高防、网络高防、ddos防护、cc防护、dns防护、防劫持、高防服务器、网站防护等方面的服务,自研的WAF提供任意CC和DDOS攻击防御。

更多详情联系客服QQ 537013901


相关文章

为什么网络攻击绝大多数发生在游戏行业?

随着互联网的普及和技术的发展,游戏行业在近年来呈现出爆炸性的增长,全球数以亿计的游戏玩家享受着网络游戏带来的广泛互动体验。然而,与此同时,游戏行业也成为了网络攻击的重灾区。究竟是什么原因使得网络攻击多数瞄准游戏行业呢?游戏行业的巨大经济利益是网络攻击者的一大诱因。网络游戏每年在全球产生数百亿美元的收入,如此丰厚的经济收益让网络攻击者趋之若鹜。他们希望通过攻击游戏系统,窃取用户数据、虚拟物品或游戏内货币,甚至直接瘫痪游戏服务器,从而获取经济利益。这种利益驱动使得游戏行业成为了网络犯罪分子的首选目标。游戏玩家庞大的用户群为黑客提供了丰富的个人信息资料。这些个人信息包括用户姓名、邮箱、密码等敏感数据,一旦泄露,可能被用于身份盗窃、网络诈骗等恶意目的。游戏玩家的个人信息不仅价值高,而且获取难度相对较低,因此游戏行业成为了黑客们眼中的信息宝库。游戏行业的特性也增加了其遭受网络攻击的风险。许多游戏玩家喜欢使用模组、作弊工具或其他第三方程序来修改游戏,这些第三方程序往往存在安全隐患,容易被黑客利用进行攻击。此外,游戏行业竞争激烈,一些玩家为了获取游戏内的优势,可能会利用漏洞进行作弊或攻击其他玩家,这种行为也为黑客提供了可乘之机。技术层面的漏洞也是游戏行业频繁遭受网络攻击的原因之一。游戏系统通常包含复杂的Web应用程序和API,这些技术一直存在被攻击者利用的漏洞。例如,跨站脚本攻击(XSS)和分布式拒绝服务(DDoS)攻击等常见网络攻击手段,都可以针对游戏系统的漏洞进行攻击。一旦攻击成功,不仅会导致游戏服务中断,还可能造成用户数据泄露等严重后果。游戏行业的监管相对较为宽松,也使得其更容易成为网络攻击的目标。相比受到严格监管的金融、医疗等行业,游戏行业的安全标准和防护措施往往不够完善,这给了黑客更多的可乘之机。游戏行业之所以成为网络攻击的重灾区,主要是由于其巨大的经济利益、庞大的用户群、行业特性、技术漏洞以及相对宽松的监管环境等多方面因素共同作用的结果。为了保障游戏行业的安全和玩家的利益,游戏公司需要加强安全防护措施,提高用户安全意识,共同构建一个安全、健康的网络游戏环境。

售前甜甜 2024-12-17 15:00:00

什么是STP?STP有什么用?

本文针对企业网络管理人员,以通俗化语言解析 STP(生成树协议)的基本原理、核心功能及配置流程。通过清晰解读,助力管理人员解决网络环路引发的卡顿、瘫痪等问题,保障企业网络稳定运行。一、STP 的定义STP(生成树协议)是一种网络环路防护机制。当网络中存在多条物理连接形成环路时,数据会在环路中持续循环,导致网络资源耗尽、通信拥堵。STP 可自动检测环路并阻断冗余链路,仅保留一条最优路径,确保数据按固定路线传输,避免网络混乱。二、STP 的核心功能解决网络环路导致的拥堵:多台交换机互联时易形成环路,造成数据无限循环、资源占用激增,STP 通过阻断冗余链路,恢复网络正常通信。减少设备连接不稳定问题:环路会引发信号冲突,导致设备频繁掉线,启用 STP 后,网络路径保持稳定,可显著降低设备离线概率。支持网络安全扩容:企业规模扩大需增加交换机时,STP 能自动适配新拓扑,避免新增连接形成环路,为网络扩展提供保障。三、STP 的工作原理根桥选举:STP 通过比较交换机优先级(数值越小优先级越高),在网络中选举一台交换机作为 “根桥”(核心节点),其他交换机均以根桥为中心建立通信路径。根端口确定:非根桥交换机会计算并选择一条到根桥的最短路径,对应连接端口即为 “根端口”,作为数据传输的主要通道。冗余链路阻断:对于网络中除最优路径外的冗余连接,STP 会将其暂时置于 “阻塞” 状态,仅在主路径故障时启用,既消除环路又保留备份链路。四、STP 配置教程登录管理界面:通过浏览器访问交换机 IP 地址(如 192.168.0.1),输入管理员账号及密码(通常标注于设备说明书或机身标签)。启用 STP 功能:在交换机设置中找到 “STP 配置” 选项,勾选 “启用 STP” 并保存。不同品牌设备路径可能不同,可在 “网络协议”“高级设置” 等菜单中查找。配置根桥优先级:如需指定特定交换机为根桥,在 STP 设置中调整 “优先级” 数值(默认 32768,建议改为 4096 以提高优先级),保存后该设备将优先成为根桥。验证配置效果:在 “STP 状态” 页面查看根桥信息及被阻塞端口。若网络运行正常,说明配置生效;若存在异常,需检查端口连接及参数设置。五、STP 配置注意事项保持 STP 启用状态:即使网络拓扑简单,也不应随意关闭 STP,避免突发环路导致网络瘫痪。合理选择根桥设备:优先选择性能较强、位置居中的交换机作为根桥,缩短数据传输路径,提升网络效率。定期检查运行状态:网络拓扑变动(如增减设备)后,需确认 STP 是否正常工作,防止新环路出现。STP 是保障企业网络稳定的基础协议,理解其原理并正确配置,可有效解决环路问题,避免网络卡顿与瘫痪,为业务顺畅运行提供支撑。

售前三七 2025-07-23 15:00:00

Windows2008系统如何搭建iis搭建网站,搭建IIS网站教程

对于初次涉及网站建设的客户,很多可能不清楚windows2008安装iis和2003安装iis哪里不一样。,相对来说,windows2008安装iis还是比较好操作的。今天快快网络苒苒Q712730904就给大家介绍一下windows2008安装IIS的具体步骤1.右键计算机→管理→选择角色→添加角色如下2.下一步3.勾选web服务器(iis)下一步4.根据需要勾选需要的服务5.下一步,点击安装即可到这里windows2008系统iis安装已经完成。打开浏览器输入:http://localhost/,如果看到如下界面就说明iis安装成功了。下面我们搭建一个iis网站。网站有许多不同的环境,我们以iis7+php5+mysql5的环境为例。1,开始→管理工具→internet信息服务(iis),打开iis.2,打开iis后,依次打开折叠项,找到网站,右键添加网站。3,填写相关项,点击确定,新建网站就完成了。ip地址: 可以选择全部未分配也选择本机的ip地址。建议选择本机IP地址端口:就是用户访问网站的地址的端口号,默认是80也可以更改,如果改为其他的,用户打开网站需要在网址的后面加上:端口号。例如端口801,域名www.test.com则用户打开需要使用网址 www.test.com:801。IIS默认网站使用了80端口,我们此次测试就使用801端口。主机名:即网站域名,使用主机名就可以搭建多个网站都使用80端口。www.test.com只是说明绑定域名用,此次实际测试中主机名是留空的。4,配置iis支持php。双击左边“起始页”下面的计算机名称找到中间的IIS部分,打开“处理程序映射”点右边的“添加模块映射”请求路径:*.php模块:FastCgiModule可执行文件(可选):D:\php\php-cgi.exe名称:FastCGI最后,确定点“是”5,双击左边“起始页”下面的计算机名称找到中间的IIS部分,打开“默认文档”选中index.php,连续点击右侧“上移”,使它移至最上面6,设置完成后进行测试。在网站根目录新建一个index.php文件内容如下:最后,保存退出在浏览器里面打开http://localhost:801。出现下面的界面,说明配置成功!更多问题欢迎随时联系Q712730904 快快网络苒苒

售前苒苒 2021-11-25 16:55:01

查看更多文章 >
AI助理

您对快快产品更新的整体评价是?

期待您提供更多的改进意见(选填)

提交成功~
提交失败~

售前咨询

售后咨询

  • 紧急电话:400-9188-010

等级保护报价计算器

今天已有1593位获取了等保预算

所在城市:
机房部署:
等保级别:
服务器数量:
是否已购安全产品:
手机号码:
手机验证码:
开始计算

稍后有等保顾问致电为您解读报价

拖动下列滑块完成拼图

您的等保预算报价0
  • 咨询费:
    0
  • 测评费:
    0
  • 定级费:
    0
  • 产品费:
    0
联系二维码

详情咨询等保专家

联系人:潘成豪

13055239889