【研究报告】非极速模式性能测试及结果分析

xinze/核心开发

测试背景：

现阶段各进程均使用极速模式运行，通常一个进程实例独占一个CPU核心来获得更好的性能与延迟表现，此应用场景对CPU等资源有非常高的要求。预期实现的目标是一台机器可以容纳更多策略实例的同时保持较高性能表现。

据此在特定机器上进行模拟，测量并分析延迟表现，探索降低延迟时间开销的方法。预期场景为所有进程均使用非极速模式，通过修改行情记录生成频率实现不同测试场景切换。

测试结论：

1 .由于策略实例数量为80，外加6个平台进程，总计86个进程，而机器核心数量为12，进程数量大于CPU核心数就一定会存在CPU资源的争抢以及上下文切换带来的开销。

2 .使用绑核可有效降低各步骤以及整体的开销，例如：绑核前A10、B10场景的t2o总开销时间可达数ms至数十ms，绑核之后对应场景C10、D10的t2o总开销降低至数百us。

3 .绑核操作可有效减少传输时间开销与CPU缓存一致性机制的开销变化有关。绑核之后，写进程更新后需要完成的缓存失效、缓存刷新、消息传递等写传播相关步骤可更快完成：绑核后写进程更有可能独占该核心的缓存，在写操作执行完之后，其他进程在读取共享内存时，可以直接从该核心的缓存中获取最新的数据，而无需通过缓存一致性协议的开销。写传播时间开销减小。

4 .绑核场景中，随着行情频率的变化，总开销呈M型：总体行情频率为1笔/s和2笔/s附近（对应C4、C5，D4、D5）以及8000笔/s附近（对应A12、B12、C12、D12）t2o总开销时间较高，而更高或更低总体行情频率的t2o总开销时间较低（可对应比较C1、C10，D1、D10）。

5 .不绑核场景中，t2o总开销的峰值场景之一为A10、B10对应总行情频率较高，此场景触发了频繁的上下文切换以及缓存同步。A11、B11因为行情密度较为适宜减少了上下文切换频率。A12、B12处于另外一处t2o总开销峰值更多因素是行情记录密度太高CPU处理资源瓶颈处理不过来。

6 .策略实例不再与md和td进程进行CPU资源争抢，可极大提高整体延迟的表现。

7 .在C10和D10场景中，跨numa节点的共享内存访问开销远小于策略实例争抢CPU资源带来的开销。（包括策略实例之间的竞争以及策略实例与平台进程之间的竞争）

8 .平台进程采用极速模式而策略实例使用非极速模式的混用场景中，订单传输开销与全采用极速模式下接近但是行情记录传输开销在50ms左右，这是因为极速模式在更新完共享内存记录后什么都不做，此时策略只能等到100ms超时结束后去读行情记录的更新，均匀分布的数学期望为50ms与实测表现一致。因此现有通知机制下不建议极速模式与非极速模式混用。

使用建议：

1 .对平台进程进行绑核操作。
2. 绑核配合大页内存使用有进一步提升。
3 .平台进程隔核运行或者绑核时策略实例与平台进程的核心范围不重合。
4. 依据预期的行情频率情况以及策略行为的开销，选择机器运行的策略实例数量。
5 .可根据实际策略实例所需CPU资源以及行情频率等，分组对策略实例进行绑核操作。
6 .不建议极速模式与非极速模式混用。

测试思路：

对任务分析之后，首先探索了只有一个策略实例情况下不同行情频率的延迟表现，之后探索了非极速模式与极速模式混用的延迟表现并分析原因。接下来测试了A组作为比较基准，同时测试了所有进程采用极速模式情况对应场景下的表现。经过分析并结合之前探索极速模式下延迟表现影响因素，以及本次探索中进程数量多大于CPU核心数的特征，得出影响因素并进一步测试各影响因素在各场景下的权重。

最早预期是测试100个策略实例运行场景的延迟表现，但实测发现预留大页内存场景安全监控等第三方进程会随着策略实例创建而增加内存占用，导致超出物理内存范围并使用SWAP空间。故降低测试中实例数量为80，以避免SWAP切换引入不稳定干扰影响表现。

同时，统一缩小各类型进程journal的size避免运行过程中物理内存不足的情况发生影响测试结果的准确性。

md创建不同的线程生产不同标的行情记录，80个标的对应80个线程。通过不同线程创建时间间隔以及同线程内行情记录生成间隔，来控制总体行情记录的生成频率以及各标的行情记录的生成频率。上述间隔以及行情记录条数通过启动时读取的配置文件设置。

策略获取-n参数过滤对应标的行情记录，因此80个策略实例会对一条行情记录更新有响应，最终只有一个策略实例会生成有效报单给td。

kungfu-core版本：

基于2.6.0-alpha.6版本进行测试。

测试机器及配置：

测试机器为31和32，31上测试开启20G大页的场景，32上测试未开启大页的场景。两台机器配置相同，均为Intel Xeon E5-2643 3.6GHz 12核心CPU以及32G内存。

行情记录来源：

行情源使用sim生成，80个标的各由一个线程生成，通过启动时配置的JSON文件中的字段控制行情记录生成次数、同一线程内行情记录生成间隔、不同线程创建的间隔来完成各实验场景的构建。通过行情记录触发策略下单完成全流程步骤。

策略实例启动方式、数量及行为：

使用非极速模式启动所有进程，其中间隔1s启动共计创建80个策略实例，每个实例过滤唯一感兴趣标的的行情记录，即一条行情记录只会使得一个策略生成有效报单。

测试结果说明：

由于每场测试结果的均值在一定范围内波动，故使用范围来表示测试结果。

测试场景及测试结果：

依据是否绑核以及是否开启大页共分为四大组测试A、B、C、D。

A：不绑核 + 不使用大页内存。（在机器32上测试）

B：不绑核 + 使用大页内存。（在机器31上测试，预留大页内存20G）

C：平台进程绑核 + 不使用大页内存（master绑CPU0、cached绑CPU1、md绑CPU6、td绑CPU8）

D：平台进程绑核 + 使用大页内存（master绑CPU0、cached绑CPU1、md绑CPU6、td绑CPU8）