天阗AI智能体：智检测，慧守护
发布时间 2024-05-14自从ChatGPT发布以来，围绕大模型的讨论愈演愈烈，个人、企业乃至国家都陷入了深刻的变革中。它的影响力已经远超技术范畴，成为全球技术、产业和国际竞争的综合战场。然而，大模型的实际落地并非一帆风顺，从行业数据的收集到实际应用场景的结合，每一步推进都面临着诸多挑战。本文介绍安讯基于L1安全大模型构建的L2威胁检测应用场景（天阗AI智能体）。
大语言模型（LLM）通过提示工程，如零样本学习、少样本学习、思维链等方法展示了不错的生成和推理能力。
然而，上述方法一方面是静态的黑箱模式，模型使用预训练的自身内部知识产生思维过程，并未立足于外部真实世界；另一方面，大部分开源LLM在垂直领域（如网络安全）的专业能力有限，使得其在解决行业复杂问题的时候能力不足。因此，基于LLM的AI智能体（AI Agent）应运而生。
AI智能体框架介绍
LLM-based Agent framework
根据OpenAI AI应用研究主管Weng Lilian的介绍，基于LLM构建的AI智能体应该包含记忆（Memory）、规划（Planning）、工具使用（Tools and Action）三大关键能力。
① 记忆能力：包括短期记忆和长期记忆两种。例如，上下文学习（In-Context Learning）可以被视为短期记忆，外部知识库可以被视为长期记忆，Agent可以利用记忆模块来缓解幻觉现象。
② 推理规划能力：包括任务拆解和自我反思两类。例如，Agent可以利用思维链等方法将复杂困难的任务拆分为多个简单的子任务，一步一步解决；同时，Agent也能够根据过程反馈、记忆反馈、环境反馈，通过自我反思等方式吸取错误教训，改进最终的输出质量。自我反思不需要通过有监督微调（SFT）或者增量预训练的方式更新LLM的权重网络，让LLM本身或者其他的LLM审视并修正自己生成的输出。
③ 工具使用能力：Agent能够根据prompt理解意图，按照需要调用不同工具（例如：搜索引擎、代码执行、科学计算等外部工具的API接口），扩展和补充其应用能力。工具使用不仅是人类智能的体现，也是纯LLM和AI Agent的重要区别，因为纯LLM更擅长“动脑”，而AI Agent不仅能“动脑”也能“动手”。
斯坦福大学的吴恩达教授也在研究中发现基于GPT-3.5构建的智能体在应用中表现比纯GPT-4更优。因此，基于AI智能体的设计模式对于工业界的行业应用非常有启发，可以利用开源LLM实现“以小博大”的效果。
同时，他在研究中提出反思（Reflection）、工具使用（Tool Use）、规划（Planning）多智能体协作（Multi-agent Collaboration）四种AI智能体的应用设计模式，并指出目前Reflection模式和Tool Use模式已经被广泛接受和应用了。
天阗AI智能体
天阗AI智能体是以“智检测，慧守护”为理念，基于安讯安全大模型构建的一个立体感知、全域协同、精准判断、持续进化、开放的智能检测防御能力实体。
天阗AI智能体由安全大模型和各种专用小模型组成，智能调度各类检测单元，同时结合结构化或非结构化知识数据，对各类攻击事件进行提炼总结，推理生成检测规则、专杀工具、欺骗诱捕等动态防御策略，为安全检测和响应产品注入了一颗“AI芯”。
三大应用场景
天阗AI智能体应用在“智能威胁检测、智能威胁分析、智能威胁防御”三大场景中。
智能威胁检测场景
依据不同检测场景智能化调度各种检测工具和算法，天阗AI智能体可大幅度提高检测精准度和整体检测性能。
1、Web攻击威胁检测
规则匹配、词法语法检测、机器学习模型检测是当前Web攻击检测的三个重要手段，然而每种手段都有其独特的优势和不足。
天阗AI智能体可对用户侧业务流量进行智能感知，避免用户业务流量的误报，灵活采用最新Web攻击检测模型进行检测。同时不断从海量的攻击数据中学习和优化模型，提高对高对抗Web攻击流量的检测能力。
2、加密流量检测
针对加密流量的检测一直是业界关注的重点和难点之一。
天阗AI智能体利用业界先进的AI多模型综合决策技术，能有效检测ICMP、DNS、HTTP、HTTPS、SSH、TCP等多种协议的200余种攻击工具，对于魔改变形的工具检测率也能达到90%以上，并能结合用户业务环境进行流量自学习，最大限度降低对用户自有加密业务的误报；在加密流量告警后，还能依据报警上下文智能关联是否有其他已知告警，结合攻击者或C2的富化情报信息，给出告警精准度判断。
3、恶意文件检测
沙箱检测是一种基于虚拟机的恶意代码分析技术，但由于硬件条件限制、样本量大等原因，沙箱产品往往会存在样本执行不完全，高级威胁样本绕过等问题。
天阗AI智能体通过学习用户环境的样本来源、样本基础信息等判断样本包含恶意代码的可能性，实现对于无危害来源样本的自动放过。还可对疑似APT攻击样本进行深度养殖，解决高对抗样本的绕过问题。在产生告警后，再结合端侧日志、样本来源等智能推荐出用户需要关注的高价值样本，让用户面对专业的样本检测报告不再束手无策。
4、异常行为检测
近年来，越来越多的攻击正在朝着“APT化”发展，攻击者100%会突破防线进入受害者网络，“守不住”逐渐成为正常现象。但再高级的攻击都会产生网络流量和终端日志，基于历史流量和日志的异常行为检测成为发现未知攻击的重要手段。但现有的异常行为检测普遍面临着误报高无法研判，面对新攻击模式无法检出等问题。
天阗AI智能体通过对内部业务环境的立体感知，利用机器学习、统计模型等工具构建正常业务行为的模型，及时发现与之不符的异常行为。同时，智能体基于LLM构建，不仅具备出色的上下文理解和语义分析能力，还能针对新攻击模式无法检出的难题，结合云边端引入多维度特征，提高检测准确性，以应对不断变化的新威胁。
智能威胁分析场景
在各种检测工具、算法生成告警结果后，天阗AI智能体会利用LLM的推理总结能力对这些检测结果进行“深加工”，帮助安全人员更好地了解攻击事件的本质、来源和潜在影响。
1、攻击过程还原与攻击事件提炼
安全告警的数量和复杂性不断增长，对检测结果的分析构成了巨大的挑战。如何从海量告警中挖掘出需要用户关注的有效事件是当前安全行业探索的重要技术方向。
天阗AI智能体基于检测告警的周期性、攻击相关性，告警载荷的相似性等智能聚类相似告警，最大限度降低业务造成的反复误报。同时还会基于ATT&CK攻击框架，利用大模型的逻辑推理能力将不同阶段的有效告警关联起来，还原攻击过程，并最终提炼出可直接用自然语言描述的攻击事件。
2、检测报告生成
在提炼出攻击事件以后，天阗AI智能体可基于大模型的总结能力，串联分析整个攻击过程，进行根因精准定位，提供完整的攻击入口分析、影响范围、攻击者、受害者分析以及处置建议等报告内容。
同时还可对数据包中的关键载荷和上下文进行深度分析，分析结果不仅以图形化的方式清晰展示分析逻辑，还支持通过自然语言进行连续追问，提供详细的解释和更多的信息，使得安全人员能够更深入地了解告警的详细情况和背后的原因。
3、未知威胁自动化狩猎
任何安全产品都不可能100%检测出所有攻击，基于网、端数据的威胁狩猎是解决这一问题的有效途径。然而威胁狩猎工作一般需要有若干年经验的高级安全工程师费时费力进行，最后往往还一无所获。
天阗AI智能体有效解决了这一难题，当用户输入一个攻击线索时，智能体可以利用大模型的思维链以及推理能力，结合langchain框架和自定义取证工具自动向前向后查找与该线索有时间关系、攻击上下文关系的其他网络流量或终端进程文件信息，并将这些信息按照时间线形式统一呈现给用户。查找到的数据还可以进一步上传到云端进行威胁鉴定，完成从威胁狩猎到结果鉴定的全自动化。通过自动化威胁狩猎，即使是小白用户也能找到0day漏洞。
智能威胁防御场景
在对检测结果进行“深加工”后，天阗AI智能体能对确定性攻击事件中的攻击者、受害者智能生成防御策略，对发现的未知威胁自动生成检测策略，完成检测与响应的自动化闭环。
1、检测与防御策略生成
借助大模型的代码生成能力，天阗AI智能体可自动生成流量检测规则、文件检测规则以及终端行为检测规则，基于样本报告自动生成样本专杀等。除了被动检测以外，主动诱捕也是威胁防御的重要一环。智能体可根据用户资产自动化生成仿真环境，并在仿真环境中自动化生成伪造响应，同时还能根据用户输入自动化生成钓鱼诱饵。
2、检测与防御策略下发
在生成了检测和防御策略之后，天阗AI智能体还能自动化调用各类能力，如访问控制、黑白名单、终端隔离、应用层规则等，防止攻击进一步发展。
天阗AI智能体依托大模型的记忆、推理规划、工具调用等能力，实现了对各种小模型的协同调用，把AI能力融入到威胁检测与响应的各个环节，实现了威胁检测产品的自动驾驶。