> projects / xdr

XDR 单包研判模型 2.0&3.0

端到端交付 AI 安全 2025.12 — 2026.04 · 深信服

01项目背景与目标

面向重点 KA 客户的 XDR 安全运营能力,模型以单条数据包(HTTP 请求)为研判单位,输出「是否攻击」与攻击结果。真实场景中长期存在误报、漏报偏高的问题:一方面把正常行为判为攻击,抬高运营成本;另一方面漏掉真实攻击,留下风险敞口。

目标是把这个单包研判模型从「能跑」推到「能上线」:降低误报 / 漏报,提升攻击结果判定的准确率,并让新版本能够稳定、快速、可复现地交付上线。

02端到端方案

作为项目的核心研发成员,独立完成从根因分析、数据泛化、SFT + RL(GRPO)训练、自测集与蓝军 Benchmark 测评,到 vLLM 部署的全链路迭代。整条链路共九道工程环节,按发生顺序串成一条链:训练侧产出模型,交付侧把它变成可服务、并且能持续压成本,验证侧证明它真的可用。其中量化与蒸馏处在同一位置,是两条并行的降本路线——量化改精度不动结构,蒸馏直接换一个小模型,两者可单选也可叠加。

端到端链路:九道环节,一条链 每一环都有自己的输入 / 输出 / 验收,前一环不通过,后一环无从开始 训练侧 PHASE 1 1 数据准备 分层抽样 · parquet 转换 2 SFT 微调 LLaMA-Factory · 全参 · ZeRO-3 3 强化学习 GRPO / DAPO · verl 交付侧 PHASE 2 4 权重合并 FSDP / DTensor 分片合并 5A 模型量化 AWQ / GPTQ · bitsandbytes 5B 知识蒸馏 vocab_size 对齐 · KD 6 推理部署 vLLM · PagedAttention 验证侧 PHASE 3 7 接口压测 QPS · TTFT · TPOT 8 效果测评 黑白样本多口径测评 5A / 5B:二选一,可叠加 量化:模型不变,只降精度 蒸馏:教师→学生,含一次训练 按 1 → 8 演进(5A / 5B 为同一位置上的两条并行路线):训练侧产出模型,交付侧变成可服务,验证侧证明它真的可用
九道环节按序推进:任何一环不达标,后面的环节都无从开始;量化与蒸馏处在同一位置,是两条并行的降本路线。

各环节的原理、参数与踩坑属于技术细节,已单独整理成文——见 技术分享全文。本页只呈现项目层面的效果与结果。

03技术栈

链路涉及的主要算法、框架与工具:

基座模型
Qwen2.5-7B-Instruct
监督微调
LLaMA-Factory全参 SFTDeepSpeed ZeRO-3
强化学习
GRPODAPOPPOverlRayvLLM rollout
分布式训练
FSDPDTensor8 × H100
模型量化
bitsandbytes (NF4)GPTQAWQ / llmcompressor
推理部署
vLLMContinuous BatchingPagedAttention
知识蒸馏
vocab_size 对齐KD
评测 / 压测
多口径测评QPS / TTFT / TPOT 异步压测
数据
parquet分层抽样SimHash / MMR 去重

各算法的原理与参数细节,见 技术分享全文。

04效果与指标

业务效果(线上)

91%线上业务效果(29% 提升至 91%)
92%攻击成功 ACC(78% 提升至 92%)
<1%误报 / 漏报率
2%~14%Benchmark 各项指标提升

在自测集与蓝军 Benchmark 上,各项指标相比上一版提升 2%~14%,误报 / 漏报率压到 1% 以内;线上真实业务效果从 29% 提升到 91%。

迭代效率(RL 训练数据压缩)

72.8%RL 数据压缩率(14690 至 4000 条)
约 4.3×单次训练提速(30h 缩短至约 7h)
<1%核心指标下降

针对 RL 训练耗时长的问题,独立设计分层自适应抽样 + SimHash / MMR 去重 + 难度加权的压缩算法,把训练数据从 14690 条压到 4000 条,单次训练从 30 小时缩短到约 7 小时,核心指标基本不掉(算法详情)。

交付效率

1 周 缩短至 3 天单次版本交付周期

从 0 到 1 搭建「数据回流 & 打标 & 生产 & 训练 & 测评」的自动化交付闭环,沉淀出可复用的交付标准与模板,把单次交付周期从约一周缩短到 3 天。

05个人贡献与亮点

06相关链接

技术分享全文:端到端大模型训练全链路 GRPO 数据压缩算法