首先需对文章主题初步分类,然后再分析文章要点,直观整理。
近期要开始看韧性测试相关内容,不写综述,调研→思考→调研→实践,注意认真思考细节。
对象描述
韧性测试的对象包括?
- 网络服务(network services)
云原生、微服务
固件
可能的方法分类
- 基于韧性曲线(resilience curve)
该方法通过时间-性能曲线描述系统在扰动下的性能退化与恢复过程,核心是分析曲线的三个关键指标:
扰动容忍度(Disruption Tolerance):性能偏离基准的最大幅度
恢复速度(Recovery Rapidity):系统恢复至基准性能的时间
性能损失(Performance Loss):性能退化的累积量(曲线下面积)
缺点:
- 单一指标局限性
仅依赖单个性能指标(如成功率、吞吐量),无法全面反映多维度服务状态(如延迟、资源利用率等)。例如,在应用层DDoS攻击中,高延迟导致服务质量下降,但成功率仍为100%,此时韧性曲线会误判为“无性能损失”。
- 多指标冲突问题
不同性能指标可能生成矛盾的韧性曲线。例如,网络吞吐量恢复快但延迟仍高时,难以综合判断系统韧性,导致评价结果主观性强。
- 忽略恢复质量与速度的内在关联
仅通过时间和幅度量化恢复,未考虑恢复过程中的动态特性(如恢复速度的变化)。例如,两种策略可能恢复时间相同,但恢复路径的能量消耗差异显著,而韧性曲线无法捕捉此类差异。
- 对复杂系统适应性差
现代网络服务(如微服务、云环境)具有高动态性和多状态维度,单一曲线难以刻画其复杂恢复行为。论文指出,现有方法“在网络环境复杂度提升时显得原始”(primitive)。
论文解决方案对比
- 基于指标(metric-based)
大多数方法是基于度量的。
缺点:不足以全面描述服务状态,在没有适当的数据处理的情况下,单独采用多个度量往往会产生相互冲突的评估结果,从而很难对网络服务的韧性做出具体推断。
- 基于工作负载(workload-based)
将韧性建模为系统可以接受的工作负载,直至不可恢复的故障点。
缺点:服务系统很复杂,高工作负载只代表一种潜在的故障场景,因而该方法的适用性非常有限。
相关工作和文章
关键词:measure,resilience,network service
弹性=韧性
| 文章题目 | 年份 | 开源 | 问题和方案解读 | 实验解读 |
|---|---|---|---|---|
| Defining and measuring the resilience of network services | 2025 | 否 | 当下研究对信息系统的韧性(resilience)缺乏共识,对韧性的测量研究处于初级阶段。 方案参考材料学领域中的弹性概念,提出了从恢复过程中释放的能量来定义网络服务的韧性。然后,通过将神经网络应用于服务状态度量,构造了网络服务的状态空间,该空间数学上是一对黎曼流形的乘积流形。最后,基于微分几何原理,可以通过弹性机制的行为行为及其在状态空间中产生的位移来量化网络服务的韧性。 | 使用云环境作为实验环境来验证方法有效性,目标服务为Bookinfo,部署在使用Docker、K8s和Istio构建的分布式系统中。Bookinfo服务由四个微服务组成:ProductPage、Detail、Review和Rating。 具体实验选了4个场景,分别是:Configuration Change(Node Fault)、Flash Crowd、Communication Delay(Link Fault)、Application Layer DDoS Attacks。 从场景的实验内容来看,是通过不同的工具/手段来实现一些故障,然后把系统的量化弹性曲线绘制出来,分析整个过程,期间会涉及各种工具和指标。至于对比,主要是不同条件下,量化的弹性曲线有不同的变化,可画在一张图上直观对比。 除了场景的对比外,还有与其它方法的对比,把现有方法分为两类,包括workload-based和metrics-based。找了一些指标对比。 |
| A Resiliency Measure for Communication Networks | 2017 | 否 | 通信网络的动态安全评估中,缺乏一种量化的弹性(resiliency)度量方法,无法有效比较不同网络拓扑在面对攻击或故障时的抗毁能力和恢复性能。现有研究多关注单一维度(如恢复时间、拓扑连通性),未能综合考虑稳定性损失、性能下降及恢复时间的协同影响。 文章提出一种综合评估通信网络弹性的量化指标 LoR(Level-of-Resilience),通过三个核心维度实现:1. Level-of-Stability-Reduction (LoSR):稳定性损失水平;2. Level-of-Performance-Reduction (LoPR):性能下降水平;3. Recovery-Time (RT):恢复时间。 | 搞了两个攻击场景CN1和CN2,两个网络拓扑结构不同,但用户和应用相同。这里的CN指的是通信网Communication Network,感觉是非常直白的。 使用Opnet Modeler进行网络建模与仿真,采集流量、延迟等性能数据。 关于对比实验,比的是CN1和CN2的数据,算是自己设置的两个场景之间的对比,没有拓宽到跟其它方法对比。 |
| Quantitative Measurement of Cyber Resilience: Modeling and Experimentation | 2025 | 否 | 先说明网络韧性是系统抵抗网络攻击并从中恢复的能力,从而恢复系统功能。在设计网络韧性系统(cyber resilient system),需要实验方法和工具来定量度量网络韧性。 作者提出了一类简约模型,其中恶意软件和恶意软件的影响都被近似为确定性的、连续的可微变量,并且探索了这种模型的几种变体。此外,还讨论了如何从实验数据中获得这些模型的参数,以及这些参数是否可以被认为是Bonware的网络弹性的量化特征(即测量)。 | 作者声称:第五节中,介绍了用来获得与弹性相关的数据的实验方法;描述了整个实验装置的各个组件和执行实验的过程。然后,在第六节中,作者用案例研究来说明实验和分析,并对实验结果进行讨论。 使用test bed,完成一系列网络攻击的实验,并进行数据捕获。 在介绍案例时,绘制好实验曲线,说明有攻击和无攻击时,韧性曲线的区别。 |
| MiSim: A Simulator for Resilience Assessment of Microservice-Based Architectures | 2022 | 否 | 针对微服务结构的韧性问题,目前没有适用于微服务整体韧性评估的模拟方法,需评估:1. 典型的故障注入;2. 共同的韧性机制;3. 时变的工作负载。 作者提出一种用于微服务体系结构韧性评估的可扩展模拟器MiSim,它克服了相关工作的规定限制。MiSim支持基于场景的实验,并且只需要轻量级的输入模型,因此符合韧性工程实践。 | 论文通过两类实验来验证MiSim的能力:①功能验证实验(3个场景)和②预测准确性实验(与真实系统对比)。 E1:自动扩缩容与负载均衡(A&L) E2:重试与延迟注入(R&D) E3:混沌猴与断路器(C&C) 预测准确性实验:TeaStore缩放行为复现 |
相关术语、词汇、技术
- Reviews service
reviews-v2 调用rating服务,每个评级显示为1-5个black star。
reviews-v3 每个评级显示为1-5个read star。
- Fortio
Fortio用于压力测试,测试微服务负载。
- Jaeger
Jaeger用于收集和分析服务质量(QoS)指标。
- Prometheus
Prometheus用于收集资源相关指标。