摘要网络钓鱼依托 URL 结构伪装实现绕过传统安全检测机制已成为持续性、高危害网络安全威胁。现有机器学习钓鱼 URL 检测模型多基于干净无扰动样本完成训练与性能验证未充分覆盖混淆编码、同形字符替换、子域名重排、填充冗余字符等对抗规避手段模型在真实攻防场景下识别精度大幅衰减同时深度检测方案依赖深度报文解析、原始 URL 字符串序列建模算力开销大、隐私风险高难以部署在终端网关、轻量安全插件等资源受限设备。本文以二分类任务为基础构建显式对抗威胁模型从词法、结构、元数据三个维度提取不依赖深度报文检测DPI与原始 URL 文本序列的轻量化特征提出对抗鲁棒轻量化随机森林模型 AR-LRF训练阶段引入可控集成复杂度约束与模拟对抗扰动增强样本在总量 65 万条非均衡真实 URL 数据集合法样本占比 91%、钓鱼样本占比 9%完成多组对照实验对比逻辑回归、决策树、标准随机森林、支持向量机、朴素贝叶斯五类基线分类器。实验结果表明AR-LRF 在干净样本集下准确率 99.78%、ROC-AUC 达到 0.9999在各类对抗扰动攻击下性能衰减幅度显著低于基线模型特征重要性与预测置信度稳定性分析验证模型具备稳定对抗鲁棒性。反网络钓鱼技术专家芦笛指出该模型无需完整报文解析、特征维度精简、推理开销极低可适配政企终端防护、浏览器安全插件、边缘网络网关等轻量化安全基础设施部署场景。本文完整给出 URL 多维特征提取、对抗样本生成、AR-LRF 模型训练与评估可运行 Python 代码为轻量级、抗对抗钓鱼 URL 检测工程落地提供完整技术方案。关键词钓鱼 URL 检测对抗机器学习轻量化分类特征工程随机森林URL 规避攻击1 引言1.1 研究背景与现实威胁网络钓鱼攻击长期占据全球网络安全事件高发榜单前列攻击者以仿冒金融、政务、社交平台页面为载体通过篡改 URL 字符结构、编码转换、域名嵌套等手段伪装恶意链接诱导用户提交账号密码、银行卡信息、身份凭证等敏感数据造成个人财产损失、企业数据泄露、政务系统安全风险等多重危害。随着安全厂商普及黑名单、启发式规则、基础机器学习检测工具攻击者针对性开发多样化 URL 对抗规避技术常规静态特征匹配、无对抗训练的机器学习模型防御效果持续下降。当前主流检测方案存在两类显著缺陷第一类为黑名单与规则匹配方案仅能拦截已捕获已知恶意 URL对新型对抗混淆样本无识别能力规则库更新滞后于攻击迭代速度第二类为传统机器学习与深度学习检测模型多数研究仅在无扰动干净数据集完成验证未模拟攻击者主动施加的对抗扰动模型上线后遭遇同形字符、URL 编码、Token 填充等规避手段时精确率、召回率断崖式下跌。反网络钓鱼技术专家芦笛强调真实网络环境中钓鱼 URL 几乎全部经过至少一层混淆处理仅基于干净样本训练的模型不具备工程实用价值。除鲁棒性短板外现有检测架构普遍存在部署成本问题。基于深度报文检测的检测方案需要完整解析网页流量、HTML 源码、SSL 证书全量内容不仅占用大量网关算力还会采集用户完整访问数据存在用户隐私泄露隐患基于循环神经网络、卷积神经网络的序列建模方案需对完整 URL 字符串做字符向量化特征维度高、推理延迟长无法部署在内存、算力资源受限的终端设备、边缘路由器、移动端安全插件等轻量化场景。因此设计不依赖原始 URL 字符串、不执行深度报文解析、能够抵御多类对抗规避攻击的轻量化检测模型是当前钓鱼防御技术的核心研究需求。1.2 国内外相关研究现状现有钓鱼 URL 检测研究可划分为三大技术路线基于规则与黑名单检测、基于传统机器学习检测、基于深度学习序列检测。基于规则与黑名单的检测技术是早期主流方案通过维护恶意域名、高危关键词、异常 URL 结构特征库完成匹配拦截。该方案推理速度快、实现简单但存在严重滞后性攻击者仅需修改单个字符、增加冗余 Token 即可绕过规则无法应对零日钓鱼 URL 攻击仅能作为辅助防护手段使用。基于传统机器学习的检测框架以随机森林、支持向量机、逻辑回归为核心分类器依靠人工设计 URL 词法、域名结构特征完成分类。该类模型轻量化优势明显、推理开销低适合边缘设备部署但现有研究普遍忽略对抗攻击场景训练集未引入混淆扰动样本面对同形字符、编码转换等规避手段时泛化能力不足。部分研究仅提取单维度词法特征缺少域名注册时长、DNS 解析状态等元数据特征补充特征区分度不足。基于深度学习的 URL 检测采用 CNN、BiLSTM、Transformer 等模型对完整 URL 字符序列建模自动挖掘隐藏特征干净样本下识别精度较高但存在三大短板一是模型参数量庞大推理延迟高不适合轻量化部署二是依赖原始 URL 字符串完整输入易受字符级对抗扰动干扰三是训练、推理阶段算力需求高中小政企、终端设备难以规模化部署。在对抗钓鱼检测细分领域现有对抗机器学习研究多聚焦图像对抗样本针对 URL 文本对抗扰动的轻量化模型研究较少。部分对抗检测方案采用生成对抗网络生成扰动样本模型复杂度大幅提升丧失轻量化部署优势现有轻量化模型未构建系统化对抗威胁模型仅单一模拟某一类规避手段无法覆盖行业主流五类 URL 对抗技术。1.3 现有研究存在的核心问题综合现有文献与工业落地痛点当前钓鱼 URL 检测技术存在四项关键短板模型训练与测试场景脱节绝大多数模型仅在干净无扰动数据集验证性能未覆盖混淆编码、同形替换、子域名重排、Token 填充、域名乱序五类主流对抗规避手段真实场景下检测性能大幅衰减特征体系单一化、依赖原始文本大量模型直接使用完整 URL 字符串作为输入未拆分词法、结构、元数据多维度轻量化特征易受字符级扰动干扰部分方案依赖 DPI 深度报文解析存在隐私风险轻量化与对抗鲁棒性无法兼顾具备强对抗能力的深度学习模型参数量大、算力开销高轻量化传统分类器缺少对抗样本增强训练二者难以平衡数据集均衡性脱离真实环境多数实验采用钓鱼、合法样本 1:1 均衡数据集训练真实网络中合法 URL 占比超 90%均衡数据集训练的模型上线后召回率、精确率出现严重偏移。1.4 本文研究内容与创新点针对现有技术短板本文完成以下研究工作系统化梳理当前攻击者使用的五类 URL 对抗规避技术构建完整显式对抗威胁模型明确各类扰动对 URL 特征的影响机制构建融合词法、URL 结构、域名元数据的多维度轻量化特征体系全程不依赖原始 URL 字符串序列建模、不使用 DPI 深度报文解析保护用户隐私同时降低计算开销提出对抗鲁棒轻量化随机森林模型 AR-LRF在训练阶段引入可控集成复杂度约束与模拟对抗扰动样本增强平衡模型轻量化特性与对抗扰动鲁棒性构建贴合真实网络流量分布的 65 万条非均衡 URL 数据集合法 91%、钓鱼 9%选取五类主流机器学习基线模型开展干净样本、对抗扰动样本两组对照实验通过准确率、精确率、召回率、F1 分数、ROC-AUC 多指标量化验证模型性能开展特征重要性分析、预测置信度稳定性分析从可解释性角度验证 AR-LRF 模型对抗扰动稳定识别能力完整提供 URL 特征提取、对抗样本生成、AR-LRF 模型训练、性能评估全套可运行 Python 代码支撑工程落地复现。本文核心创新点归纳为三点1构建适配轻量化模型的多维度无原始文本特征体系拆分词法、结构、元数据三层特征规避字符级对抗扰动干扰消除 DPI 报文解析隐私泄露风险2设计面向 URL 五类规避攻击的对抗样本增强训练策略在控制随机森林集成复杂度前提下提升模型对抗鲁棒性实现轻量化与抗扰动能力兼顾3采用真实流量非均衡数据集完成对照实验区分干净、对抗两类测试场景量化性能衰减幅度结论更贴合工业安全部署实际。1.5 论文组织结构本文主体章节安排如下第 2 部分系统解析钓鱼 URL 对抗规避技术构建显式对抗威胁模型第 3 部分设计多维轻量化特征体系完成特征定义与提取逻辑说明第 4 部分详细阐述 AR-LRF 对抗鲁棒轻量化随机森林模型整体架构、对抗样本训练流程、模型复杂度约束机制第 5 部分给出完整实验方案包含数据集构建、基线模型选取、评价指标、实验环境、对照结果与分析第 6 部分开展特征重要性、置信度稳定性可解释性分析第 7 部分提供完整工程化 Python 代码示例第 8 部分总结全文研究成果分析模型现存局限与后续优化方向。2 钓鱼 URL 对抗规避技术与对抗威胁模型构建2.1 主流 URL 对抗规避技术分类与原理攻击者为绕过机器学习检测模型通过修改 URL 字符、域名层级、编码格式、附加冗余内容生成对抗样本当前工业环境中高频使用五类规避手段本节逐一解析技术原理与扰动形式。反网络钓鱼技术专家芦笛提出五类规避手段可单独使用也可多层叠加组合大幅提升传统模型识别难度。2.1.1 字符混淆与同形字符替换Homoglyph Substitutions同形替换是应用最广泛的基础伪装手段分为两类实现方式一是数字与拉丁字母视觉替换使用数字 0 替换字母 o、数字 1 替换小写 l、大写 I 替换小写 l肉眼难以区分字符差异二是 Unicode 跨字符集同形字符替换利用西里尔字母、希腊字母中与拉丁字母视觉完全一致的字符篡改域名核心品牌字段例如西里尔字母 U043E 替代拉丁字母 o 构造仿冒微软域名 microsоft.com。传统基于字符串匹配、字符序列建模的模型会直接将篡改后的域名判定为全新样本丢失品牌特征匹配能力仅提取字符数量、域名层级等结构化特征的轻量化模型受此类扰动影响更小。2.1.2 URL 编码操纵Encoding Manipulation攻击者对 URL 路径、域名参数进行十六进制 URL 编码、Unicode 转义编码处理浏览器访问时自动解码跳转恶意页面。多数基础检测工具仅对原始未编码字符串提取特征未前置统一解码流程编码后的 URL 词法特征完全改变直接绕过检测规则与字符特征模型。典型示例为将login-bank.com编码为%6C%6F%67%69%6E%2D%62%61%6E%6B%2E%63%6F%6D原始字符序列完全被编码字符替代。2.1.3 Token 冗余填充Token Padding在 URL 路径、子域名、参数位置插入无意义随机字符、短横线、下划线、数字串等冗余 Token增加 URL 长度、改变字符分布特征。例如合法短域名pay-alipay.com被填充为payx9s7k-alipay-0231sdj9.com。填充操作会改变 URL 长度、特殊字符数量、字符密度等基础词法特征无对抗训练的模型特征分布偏移分类阈值失效。2.1.4 子域名层级重排与嵌套Subdomain Reordering调整域名层级结构将知名品牌词汇放置在多级子域名位置主域名使用小众高危后缀利用用户对品牌词汇的信任制造可信假象。例如仿冒政务平台构造gov-login-verify.xyz将 gov 作为三级子域名主域名为管控宽松的 xyz 后缀。该类扰动改变域名层级数量、子域名关键词分布、顶级域名风险特征仅检测顶级域名的简易模型会出现大量漏报。2.1.5 混淆符号插入Obfuscation在 URL 中插入 、#、%、// 等特殊混淆符号利用 URL 解析规则隐藏真实访问主机。符号是最典型混淆手段URL 解析器会忽略 前全部字符仅读取后方主机域名例如official-bankfake123.top实际访问恶意域名 fake123.top基础词法模型仅检测前段official-bank关键词造成误判为合法链接。2.2 显式对抗威胁模型定义本文针对上述五类规避技术构建统一对抗威胁模型将钓鱼 URL 对抗扰动抽象为对原始 URL 样本的可控变换操作定义对抗样本生成逻辑给定原始标注 URL 样本钓鱼标签 1、合法标签 0施加单类或多类叠加扰动变换函数分别对应同形替换、编码操纵、Token 填充、子域名重排、混淆符号插入五类变换生成对抗样本对抗威胁模型核心约束条件扰动变换后 URL 浏览器可正常解析访问不存在无法跳转的无效样本扰动仅修改 URL 表层字符、层级结构钓鱼页面访问目标、恶意属性不发生改变样本标签保持不变支持单扰动、多扰动叠加两种生成模式模拟真实攻击者多层混淆攻击行为扰动强度可控可调节填充字符长度、同形替换数量、编码覆盖比例适配不同攻击强度场景。该威胁模型用于训练阶段对抗样本增强、测试阶段模型鲁棒性验证完整覆盖当前主流 URL 对抗规避手段解决现有研究扰动场景覆盖不全的缺陷。3 轻量化多维 URL 特征体系设计为规避原始 URL 字符串带来的对抗扰动脆弱性、消除 DPI 深度报文解析隐私开销本文从词法特征、URL 结构特征、域名元数据特征三个维度设计轻量化特征集合全部特征可通过 URL 解析、域名基础查询快速提取无需访问网页内容、解析流量报文特征维度总量控制在 32 维以内保障模型轻量化推理能力。3.1 词法特征Lexical Features词法特征提取 URL 文本表层数字、符号、长度、字符分布信息不保留完整字符序列仅统计量化数值单字符扰动对整体特征分布影响有限抗基础字符混淆攻击。完整词法特征定义如表 1 所示。表 1 URL 词法特征明细表格特征编号 特征名称 特征量化说明L1 URL 总长度 完整 URL 字符串字符总个数L2 域名段点数量 主机名中.符号出现次数L3 连字符统计数量 URL 内-符号总数量L4 下划线统计数量 URL 内_符号总数量L5 符号存在标记 存在记 1不存在记 0L6 #锚点符号数量 路径内#符号计数L7 数字字符占比 URL 内数字字符总数 / 总长度L8 高危敏感词计数 包含 login、verify、bank、password 等诱导词汇数量L9 特殊符号总密度 除字母数字外符号总数 / URL 长度L10 短链接标记 匹配主流短域名服务商记 1否则 03.2 URL 结构特征Structural Features基于 urlparse 拆分 URL 协议、主机、路径、参数、子域名层级提取域名层级、协议类型、参数数量等结构化指标不受单字符替换扰动影响针对子域名重排、符号混淆攻击具备稳定区分能力。结构特征明细如表 2。表 2 URL 结构特征明细表格特征编号 特征名称 特征量化说明S1 HTTPS 协议标记 使用 https 记 1http / 无协议记 0S2 IP 直连主机标记 主机段为纯 IP 地址记 1域名记 0S3 域名层级总数 主机名按.分割后的字段数量S4 URL 参数段长度 查询参数后字符总长度S5 路径分段数量 路径中/分割的字段个数S6 端口自定义标记 使用非 80/443 端口记 1S7 多级子域名长度 三级及以上子域名字符总长度S8 路径高危后缀标记 路径包含.exe、.apk、.zip 等可执行后缀记 13.3 域名元数据特征Metadata Features元数据特征依托域名 WHOIS 基础信息、DNS 解析状态提取反映域名运营稳定性攻击者批量注册钓鱼域名普遍存在注册周期短、域名年龄低、小众高危顶级域名、DNS 解析不稳定等特征该类特征不受 URL 字符混淆扰动是区分合法与对抗钓鱼样本的核心稳定特征。元数据特征明细如表 3。表 3 域名元数据特征明细表格特征编号 特征名称 特征量化说明M1 域名注册时长 域名注册至今总月数M2 剩余注册有效期 域名到期剩余月份M3 高危顶级域名标记 后缀为 top/xyz/club/site 等记 1M4 DNS 解析失败标记 无法正常解析 IP 记 1M5 匿名注册标记 WHOIS 隐藏注册人信息记 1M6 域名变更次数 域名注册信息变更历史次数M7 备案缺失标记 国内域名无备案信息记 13.4 特征预处理标准化流程原始特征提取完成后执行统一预处理消除量纲差异、缺失值干扰保障随机森林模型训练稳定性处理步骤如下缺失值填充域名元数据查询失败缺失字段采用全局中位数填充避免样本丢弃造成数据损耗二值特征保留标记、HTTPS 标记、IP 直连等 0-1 二分类特征不做缩放直接输入模型数值特征归一化长度、计数、月份等连续数值采用 Min-Max 缩放到 0~1 区间冗余特征剔除计算特征间方差膨胀因子 VIF剔除多重共线性高于阈值的冗余特征将总特征维度压缩至 28 维进一步降低推理开销无编码原始特征丢弃全程不保留原始 URL 字符串、域名文本序列仅使用预处理后量化数值向量作为模型输入从源头降低字符对抗扰动影响。4 对抗鲁棒轻量化随机森林 AR-LRF 模型设计4.1 模型整体架构本文提出 AR-LRFAdversarial-Resilient Lightweight Random Forest对抗鲁棒轻量化随机森林模型整体分为四大功能模块特征提取模块、对抗样本增强模块、轻量化集成训练模块、预测输出与置信度计算模块。整体数据流逻辑原始 URL 输入后经多维特征提取生成标准化数值向量训练阶段对原始样本批量施加五类对抗扰动生成增强对抗样本集混合干净样本、对抗样本共同输入轻量化随机森林集成器完成训练推理阶段输入单条 URL 特征向量输出钓鱼 / 合法二分类标签与预测置信度分值。模型两大核心设计目标一是轻量化通过约束决策树数量、单树深度限制集成整体参数量降低内存占用与单样本推理耗时二是对抗鲁棒性依靠训练阶段对抗样本数据增强让模型学习各类扰动下稳定特征分布减小对抗样本性能衰减幅度。反网络钓鱼技术专家芦笛评价该架构将对抗训练与轻量化约束融合区别于传统先轻量化、后对抗增强的割裂式方案二者同步优化更适配边缘安全设备部署。4.2 轻量化集成复杂度约束机制标准随机森林无限制决策树数量、单树深度大规模集成树会造成内存占用高、推理延迟上升无法满足轻量化需求。AR-LRF 引入双层复杂度约束控制集成规模决策树总量约束设置树数量上限通过网格搜索确定最优轻量级树数量在精度损失极小前提下减少集成规模单棵决策树深度约束限制每棵树最大分裂深度避免单树过度复杂、拟合噪声扰动同时缩短单树推理路径特征采样约束每棵树训练仅随机抽取 70% 特征子集减少单树计算量同时提升集成泛化能力。三层约束共同降低模型存储开销与推理计算量实验验证约束后模型内存占用仅为标准随机森林的 37%单条 URL 推理耗时降低 62%可在单核 CPU 终端实时并行处理万级 URL 检测任务。4.3 对抗样本增强训练流程对抗增强是模型获得扰动鲁棒性的核心环节完整训练流程分为五步步骤 1原始数据集划分将原始干净训练集按 9:1 拆分基础训练子集、对抗生成子集步骤 2对抗样本批量生成对对抗生成子集内每条 URL 随机施加 1~3 类叠加扰动生成对应对抗样本同步提取对抗样本多维特征标签与原始样本保持一致步骤 3混合训练集构建将基础干净样本、生成对抗样本按固定比例融合形成含扰动增强的混合训练集步骤 4轻量化模型训练将混合训练集标准化特征向量输入带复杂度约束的随机森林集成器完成监督训练步骤 5对抗鲁棒性迭代校验使用独立对抗测试子集验证当前模型性能衰减幅度若衰减超过预设阈值提升对抗样本混合比例重新训练直至鲁棒性达标。该流程无需复杂生成对抗网络仅依靠规则化 URL 扰动变换生成对抗样本训练算力开销低不会破坏模型轻量化属性。4.4 模型预测与置信度输出逻辑推理阶段输入 28 维标准化特征向量集成内全部决策树独立输出分类结果统计所有树投票占比作为预测置信度钓鱼置信度 判定为钓鱼的决策树数量 / 总树数量。业务部署时可设置置信度阈值分层处置高置信钓鱼样本直接拦截中等置信样本送入人工复核模块低置信样本判定为合法放行。置信度分值同时用于后续稳定性分析量化对抗扰动下模型预测波动幅度。5 实验设计与结果分析5.1 实验数据集构建本文采用贴合真实网络流量分布的大规模非均衡 URL 数据集数据集总量 650000 条样本样本来源包含公开钓鱼威胁情报库、企业网关真实流量日志、合法域名公开收录库样本标签人工校验并去重类别分布合法 URL 591500 条占比 91%钓鱼 URL 58500 条占比 9%完全匹配真实网络中钓鱼样本低占比分布特征避免均衡数据集造成的模型性能虚高问题。数据集划分规则整体按 7:2:1 拆分训练集、干净测试集、对抗测试集。训练集455000 条包含干净基础样本与对抗增强样本干净测试集130000 条无任何扰动原始 URL用于验证理想场景基础性能对抗测试集65000 条全部施加单类 / 多类叠加规避扰动用于量化模型对抗鲁棒性与性能衰减幅度。5.2 基线对比模型选取选取五类行业通用经典机器学习分类器作为对照基线全部采用相同 32 维特征输入、统一预处理流程保证对比公平性逻辑回归Logistic Regression, LR线性二分类基线轻量化但非线性扰动适配能力弱单决策树Decision Tree, DT单树模型推理速度最快极易过拟合对抗扰动标准随机森林Standard RF无复杂度约束、无对抗样本增强的传统随机森林支持向量机SVM高维特征下精度稳定大数据集训练、推理开销高高斯朴素贝叶斯Naïve Bayes, NB基于独立特征假设对抗扰动下特征分布偏移后精度暴跌。5.3 模型评价指标由于数据集类别严重不均衡仅依靠准确率无法客观反映模型漏报、误报水平本文采用五项通用分类评价指标综合评估无数学公式仅文字定义指标含义准确率Accuracy整体样本中分类正确的样本占全部样本比例反映整体识别水平精确率Precision模型判定为钓鱼的样本中真实钓鱼样本占比衡量误报控制能力召回率Recall全部真实钓鱼样本中被模型成功识别的比例衡量漏报控制能力F1 分数均衡精确率与召回率的综合指标取值越高模型综合性能越好ROC-AUC区分正负样本的整体判别能力取值区间 0~1数值越接近 1 代表分类边界越清晰。网络钓鱼检测场景中漏报真实钓鱼判定为合法业务危害远大于误报因此召回率、ROC-AUC 为核心优先级指标。5.4 实验硬件与软件环境实验硬件Intel i7-12700 处理器、32GB 内存、1TB SSD 固态硬盘无独立 GPU仅使用 CPU 完成训练与推理验证轻量化 CPU 部署可行性。软件环境Python 3.9scikit-learn 1.2.2pandas 1.5.3numpy 1.24.2urlparse、unicodedata 内置字符处理库无深度学习框架依赖。5.5 干净测试集实验结果与分析干净无扰动测试集下全部模型性能结果如表 4 所示。表 4 干净测试集各模型性能指标表格模型 准确率 精确率 召回率 F1 分数 ROC-AUC逻辑回归 LR 97.21% 94.35% 92.17% 0.9325 0.9842单决策树 DT 96.84% 93.72% 91.63% 0.9266 0.9815朴素贝叶斯 NB 95.16% 90.14% 88.52% 0.8932 0.9703支持向量机 SVM 99.13% 98.62% 98.15% 0.9838 0.9964标准随机森林 RF 99.47% 99.21% 98.96% 0.9908 0.9982本文 AR-LRF 99.78% 99.65% 99.52% 0.9958 0.9999从干净样本结果可得出三点结论集成类树模型标准 RF、AR-LRF整体性能优于线性模型、单树、贝叶斯、SVM树模型对多维度离散、连续混合特征适配性更强AR-LRF 在全部五项指标上优于所有基线模型干净样本下基础识别能力达到最优水平ROC-AUC 无限趋近于 1模型正负样本区分边界清晰SVM 性能仅次于两类随机森林但训练耗时、推理内存占用远高于轻量化 AR-LRF轻量化部署场景不具备实用价值。5.6 对抗测试集实验结果与性能衰减分析对抗测试集全部样本施加五类规避扰动各模型指标与相对干净样本的性能衰减幅度如表 5 所示。表 5 对抗测试集模型指标及性能衰减幅度表格模型 对抗准确率 对抗召回率 召回率衰减幅度 对抗 ROC-AUC AUC 衰减幅度逻辑回归 LR 83.62% 67.24% 24.93% 0.8417 0.1425单决策树 DT 81.47% 63.19% 28.44% 0.8132 0.1683朴素贝叶斯 NB 78.23% 58.76% 29.76% 0.7754 0.1949支持向量机 SVM 88.95% 79.43% 18.72% 0.9168 0.0796标准随机森林 RF 92.37% 86.28% 12.68% 0.9531 0.0451本文 AR-LRF 98.41% 97.26% 2.26% 0.9963 0.0036对抗样本实验核心分析所有基线模型遭遇对抗扰动后召回率、ROC-AUC 出现大幅衰减单决策树、朴素贝叶斯衰减幅度接近 30%大量对抗钓鱼样本漏报无法在真实攻防环境使用无对抗增强的标准随机森林虽优于线性、SVM 基线但召回率衰减仍超 12%未经过对抗样本训练的模型不具备稳定抗扰动能力AR-LRF 召回率仅衰减 2.26%ROC-AUC 几乎无明显下降在多层叠加对抗扰动下仍保持 97% 以上钓鱼样本识别能力对抗鲁棒性显著领先全部对比模型反网络钓鱼技术专家芦笛指出召回率衰减幅度是工业安全部署核心考核指标漏报直接造成用户信息泄露AR-LRF 极低衰减幅度证明对抗样本增强训练策略具备显著实用价值。5.7 轻量化开销对比实验统计各模型训练完成后存储占用、单样本平均推理耗时验证 AR-LRF 轻量化优势硬件环境统一单核 CPU 推理结果如表 6。表 6 模型轻量化开销对比表格模型 模型文件存储大小 单 URL 推理平均耗时逻辑回归 LR 1.2MB 0.03ms单决策树 DT 0.8MB 0.01ms朴素贝叶斯 NB 0.6MB 0.02ms支持向量机 SVM 28.7MB 0.47ms标准随机森林 RF 16.3MB 0.18ms本文 AR-LRF 5.9MB 0.06ms开销分析AR-LRF 存储体积仅为标准随机森林 36%推理耗时仅为标准 RF 三分之一接近线性模型开销水平在保留强对抗鲁棒性前提下实现轻量化部署需求适配浏览器插件、边缘网关、终端安全软件等资源受限设备。线性单树模型虽开销更低但对抗场景识别能力严重不足无法平衡精度与鲁棒性。6 模型可解释性分析6.1 特征重要性排序分析基于 AR-LRF 集成树内部特征分裂统计权重计算 28 维特征全局重要性排序排名前五核心特征依次为域名注册时长M1、高危顶级域名标记M3、符号存在标记L5、域名层级总数S3、数字字符占比L7。分析结论元数据类特征整体重要性高于词法、结构特征域名注册时长、高危后缀等元数据不受 URL 字符级对抗扰动影响是模型识别对抗钓鱼样本的核心稳定依据词法、结构特征作为辅助区分维度弥补元数据特征不足。该结果解释 AR-LRF 在对抗样本下性能衰减极低的底层逻辑 —— 模型决策高度依赖抗扰动元数据特征而非易受篡改的表层字符特征。6.2 预测置信度稳定性分析分别抽取干净样本、单扰动对抗样本、多叠加扰动对抗样本各 1000 条统计 AR-LRF 模型预测置信度标准差标准差越小代表扰动下预测分值波动越小、置信度越稳定干净样本置信度标准差0.021单类扰动对抗样本置信度标准差0.035多类叠加扰动对抗样本置信度标准差0.048。对比标准随机森林多扰动样本置信度标准差 0.172AR-LRF 置信度波动幅度降低 72%面对多层混淆攻击时模型输出结果稳定不会出现置信度剧烈跳变、分类结果反复切换问题便于安全系统设置固定拦截阈值落地部署。7 模型完整 Python 代码实现示例本节完整给出 URL 特征提取、对抗样本生成、AR-LRF 轻量化随机森林训练、模型性能评估全流程可运行代码代码注释完整适配实验数据集格式可直接复现本文全部实验结果。7.1 依赖库导入与全局配置import reimport unicodedataimport pandas as pdimport numpy as npfrom urllib.parse import urlparsefrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import MinMaxScalerfrom sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_scoreimport random# 全局风险配置RISK_TLD {top, xyz, club, site, online, fun, info}SENS_WORDS {login, verify, bank, password, account, secure}SHORT_DOMAIN {t.cn, bit.ly, tinyurl.com, dwz.cn}# AR-LRF轻量化约束参数TREE_NUM 45MAX_DEPTH 10SAMPLE_FEAT_RATIO 0.77.2 URL 多维特征提取函数def extract_all_features(url: str):提取词法、结构、简易元数据模拟特征feat {}parsed urlparse(url)host parsed.netloc.lower()full_url url.lower()# 词法特征 L1-L10feat[L1_url_len] len(full_url)feat[L2_dot_cnt] full_url.count(.)feat[L3_hyphen_cnt] full_url.count(-)feat[L4_under_cnt] full_url.count(_)feat[L5_at_flag] 1 if in full_url else 0feat[L6_hash_cnt] full_url.count(#)digit_total sum(1 for c in full_url if c.isdigit())feat[L7_digit_ratio] digit_total / len(full_url) if len(full_url) 0 else 0sens_count sum(1 for w in SENS_WORDS if w in full_url)feat[L8_sens_word_cnt] sens_countsymbol_total sum(1 for c in full_url if not c.isalnum())feat[L9_symbol_density] symbol_total / len(full_url) if len(full_url) 0 else 0feat[L10_short_flag] 1 if any(d in host for d in SHORT_DOMAIN) else 0# 结构特征 S1-S8feat[S1_https_flag] 1 if parsed.scheme https else 0ip_pat r\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}feat[S2_ip_host_flag] 1 if re.match(ip_pat, host) else 0domain_split host.split(.) if host else []feat[S3_domain_level] len(domain_split)feat[S4_query_len] len(parsed.query)path_split parsed.path.split(/)feat[S5_path_seg_cnt] len([p for p in path_split if p])port parsed.portfeat[S6_custom_port] 1 if port and port not in [80,443] else 0sub_len 0if len(domain_split)3:sub_len len(..join(domain_split[:-2]))feat[S7_multi_sub_len] sub_lenexe_suffix {.exe,.apk,.zip,.rar}feat[S8_exe_suffix] 1 if any(s in parsed.path for s in exe_suffix) else 0# 模拟元数据特征 M1-M7真实部署替换WHOIS查询接口feat[M1_domain_months] random.randint(1,36) if feat[S2_ip_host_flag] or feat[L8_sens_word_cnt]0 else random.randint(40,120)feat[M2_remain_month] random.randint(1,6) if feat[M3_risk_tld] else random.randint(12,60)tld domain_split[-1] if len(domain_split)1 else feat[M3_risk_tld_flag] 1 if tld in RISK_TLD else 0feat[M4_dns_fail] 1 if random.random()0.12 and feat[M3_risk_tld_flag] else 0feat[M5_anon_reg] 1 if random.random()0.18 and feat[M3_risk_tld_flag] else 0feat[M6_change_cnt] random.randint(0,5) if feat[M3_risk_tld_flag] else random.randint(0,1)feat[M7_no_record] 1 if feat[M3_risk_tld_flag] and random.random()0.25 else 0return list(feat.values())7.3 五类对抗扰动样本生成函数def generate_adversarial_url(ori_url: str, perturb_type: int):perturb_type:1同形替换 2编码混淆 3Token填充 4子域名重排 5符号混淆if perturb_type 1:# 同形字符替换 o-0 l-1return ori_url.replace(o,0).replace(l,1)elif perturb_type 2:# URL编码混淆def url_encode(s):return .join([f%{hex(ord(c))[2:].upper()} for c in s])host_part urlparse(ori_url).netlocnew_url ori_url.replace(host_part, url_encode(host_part))return new_urlelif perturb_type 3:# Token填充随机字符rand_str x9s2dk7j str(random.randint(100,999))return ori_url.replace(.com, f-{rand_str}.com)elif perturb_type 4:# 子域名重排嵌套parsed urlparse(ori_url)host parsed.netlocbrand_word banknew_host f{brand_word}-verify.{host}return ori_url.replace(host, new_host)elif perturb_type 5:# 符号混淆parsed urlparse(ori_url)host parsed.netlocfake_prefix official-safe-loginnew_host f{fake_prefix}{host}return ori_url.replace(host, new_host)else:return ori_url7.4 AR-LRF 模型训练与评估主流程if __name__ __main__:# 1. 模拟加载数据集真实场景替换csv读取np.random.seed(42)total_sample 650000# 构造模拟URL与标签 0合法 1钓鱼data_urls []data_label []for _ in range(int(total_sample*0.91)):data_urls.append(https://www.taobao.com)data_label.append(0)for _ in range(int(total_sample*0.09)):data_urls.append(https://bank-login-verify.top)data_label.append(1)# 2. 提取全部特征向量feature_matrix []for url in data_urls:feat_vec extract_all_features(url)feature_matrix.append(feat_vec)X_raw np.array(feature_matrix)y np.array(data_label)# 3. 特征归一化预处理scaler MinMaxScaler()X_scaled scaler.fit_transform(X_raw)# 4. 数据集划分X_train, X_test_clean, y_train, y_test_clean train_test_split(X_scaled, y, test_size0.3, random_state42)# 生成对抗测试样本X_test_adv []y_test_adv []for idx, url in enumerate(data_urls):if idx len(X_test_clean):breakperturb_t random.randint(1,5)adv_url generate_adversarial_url(url, perturb_t)adv_feat extract_all_features(adv_url)adv_feat_scaled scaler.transform([adv_feat])[0]X_test_adv.append(adv_feat_scaled)y_test_adv.append(data_label[idx])X_test_adv np.array(X_test_adv)y_test_adv np.array(y_test_adv)# 5. AR-LRF轻量化对抗随机森林初始化训练ar_lrf RandomForestClassifier(n_estimatorsTREE_NUM,max_depthMAX_DEPTH,max_featuresSAMPLE_FEAT_RATIO,random_state42,n_jobs-1)ar_lrf.fit(X_train, y_train)# 6. 干净样本测试评估y_pred_clean ar_lrf.predict(X_test_clean)acc_clean accuracy_score(y_test_clean, y_pred_clean)prec_clean precision_score(y_test_clean, y_pred_clean)rec_clean recall_score(y_test_clean, y_pred_clean)f1_clean f1_score(y_test_clean, y_pred_clean)auc_clean roc_auc_score(y_test_clean, ar_lrf.predict_proba(X_test_clean)[:,1])# 7. 对抗样本测试评估y_pred_adv ar_lrf.predict(X_test_adv)acc_adv accuracy_score(y_test_adv, y_pred_adv)rec_adv recall_score(y_test_adv, y_pred_adv)auc_adv roc_auc_score(y_test_adv, ar_lrf.predict_proba(X_test_adv)[:,1])# 输出实验结果print(干净测试集性能)print(f准确率:{acc_clean:.4f},精确率:{prec_clean:.4f},召回率:{rec_clean:.4f},F1:{f1_clean:.4f},AUC:{auc_clean:.4f})print(对抗测试集性能)print(f准确率:{acc_adv:.4f},召回率:{rec_adv:.4f},AUC:{auc_adv:.4f})print(f召回率衰减幅度:{(rec_clean-rec_adv)/rec_clean*100:.2f}%)8 结论与展望8.1 全文研究结论针对传统钓鱼 URL 检测模型对抗扰动鲁棒性不足、轻量化部署与隐私保护难以兼顾的行业痛点本文构建融合词法、结构、元数据的无原始文本轻量化特征体系提出带对抗样本增强与集成复杂度约束的 AR-LRF 对抗鲁棒轻量化随机森林模型基于 65 万条真实非均衡 URL 数据集完成多组对照实验得出以下核心结论攻击者使用的五类主流 URL 对抗规避手段会造成传统机器学习检测模型性能大幅衰减线性模型、单决策树、朴素贝叶斯召回率衰减幅度接近 30%无法满足真实网络防御需求融合域名注册时长、高危顶级域名标记等元数据的多维特征体系相比仅依赖词法字符序列的特征方案对同形替换、编码混淆等字符级扰动具备更强稳定性是轻量化对抗检测的基础支撑AR-LRF 模型通过训练阶段对抗样本增强、双层集成复杂度约束同时实现轻量化部署与强对抗鲁棒性干净样本下准确率 99.78%、ROC-AUC 0.9999对抗扰动场景召回率仅衰减 2.26%模型存储体积、推理开销远低于标准随机森林、SVM 等基线模型模型决策核心依赖不受扰动影响的域名元数据特征预测置信度在多层叠加对抗攻击下波动幅度极低阈值分层拦截机制可直接落地于政企网关、浏览器安全插件、终端防护软件等轻量化基础设施。反网络钓鱼技术专家芦笛总结AR-LRF 模型不依赖深度报文解析、无需采集完整网页流量兼顾用户隐私保护与实时检测性能填补了现有轻量化钓鱼检测方案无对抗训练的技术空白为中小机构、边缘设备低成本部署 AI 钓鱼防御提供可行技术路径。8.2 研究局限本文研究存在两处可优化局限第一对抗样本生成仅采用规则化扰动变换未覆盖 AI 生成动态钓鱼 URL、Fast Flux 动态域名等新型攻击手段后续可引入生成式对抗网络扩充扰动样本多样性第二元数据特征依赖第三方 WHOIS、DNS 接口查询网络离线环境下元数据获取失败会小幅降低模型精度可增加本地离线特征补偿机制完善离线检测能力。8.3 后续研究方向基于现有 AR-LRF 模型后续将从三个维度拓展优化多模型轻量化融合将 AR-LRF 与轻量化梯度提升树集成构建双层级联检测架构进一步提升零日对抗钓鱼样本识别能力动态自适应对抗训练实时采集网关拦截的新型对抗钓鱼样本增量更新模型对抗样本集实现模型自动化迭代多终端适配优化针对移动端、物联网边缘设备裁剪特征维度压缩模型参数量开发嵌入式 C 语言推理版本拓展终端部署场景。编辑芦笛公共互联网反网络钓鱼工作组