数据采集

引言：从日志审计到行为时序分析 企业终端安全管理不断演进，完成了从事后追溯走向实时感知、从单点事件走向连续行为的范式转变。早期终端审计以文件操作日志、USB插拔记录为主，聚焦离散安全事件：何人在何时复制敏感文件。 但离散审计模式存在明显短板，无法还原用户完整行为上下文。一次文件复制，既可以发生在正常办公流程，也可能是访问钓鱼网站之后的异常行为。缺少时间维度的连续行为画像，安全分析只能停留在碎片化告警，难以对用户行为模式形成系统性认知。 终端行为时序审计就此应运而生。核心思路是把终端看作持续产生行为事件的数据源，依靠毫秒级事件捕获、秒级时间切片、可视化时序展示，构建覆盖应用程序、文档操作、网页访问、屏幕状态的多维行为画像。时序审计既满足合规追溯，也为行为基线建模、异常检测、效率分析提供底层数据支撑。 一、数据采集层：毫秒级事件捕获与序列化 1.1 进程生命周期监控 应用运行时长是行为画像的基础。系统调用操作系统原生能力捕获进程创建CreateProcess、进程退出ExitProcess事件。Windows平台依靠WMI事件订阅或者ETW跟踪会话；Linux使用netlink socket接收PROC_EVENT通知，或是auditd审计框架。 进程采集最大难点是实时性与完整性。传统轮询扫描进程列表，容易丢事件、时间戳偏移。现代方案采用事件驱动架构，内核回调在进程状态变化瞬间完成采集，时间戳精度达到毫秒。采集元数据包含PID、PPID、可执行路径、命令行、数字签名、启动时间戳。 1.2 窗口焦点与前台状态追踪 进程正在运行不等于用户正在交互。后台挂着的通讯软件，和全屏编辑文档的Word，用户注意力完全不同。审计需要区分进程运行和前台活跃两种状态。 借助SetWinEventHook钩子捕获窗口焦点切换EVENT_SYSTEM_FOREGROUND，调用GetForegroundWindow拿到前台窗口句柄HWND，提取窗口标题、归属进程、窗口类名。用户切换窗口时记录切换时间，统计上一个窗口的活跃时长。 该能力让审计从简单判断进程是否运行，升级为追踪用户注意力分布，是构建时间轴最重要的数据锚点。 1.3 文档操作与网页访问捕获 文档监控依靠文件过滤驱动，Windows Minifilter、Linux fanotify，在文件打开、读、写、重命名、删除时触发审计，记录文件路径、操作类型、关联进程、时间戳，并且映射对应业务文档。 网页访问采集更加复杂。HTTP流量可通过网络驱动提取Host、URL；HTTPS加密流量如果解密会带来性能与隐私风险，主流方案采用浏览器扩展，借助Chrome/Firefox扩展API监听标签页更新事件，直接获取URL、页面标题、激活状态。 1.4 事件序列化与时间对齐 海量毫秒事件流需要高效序列化存储。采用只追加写入日志格式，每条事件包含事件ID、事件类型、毫秒时间戳、终端标识、事件载荷。所有终端Agent定期同步NTP时间，消除分布式环境时钟漂移，保证多终端事件时间对齐。 二、时间序列建模：从离散事件到连续行为画像 2.1 时间切片与状态机定义 原始事件是离散不均匀的。需要把离散事件转换成连续时间切片用于可视化。以秒作为最小粒度，把一天86400秒切分为一个个时间槽。依据每秒内发生的事件判定终端状态： 空闲状态：无前台窗口，无键鼠输入 活跃状态：存在前台窗口，检测到用户输入 专注状态：单个应用持续前台超过阈值，输入频率稳定 多任务状态：短时间高频切换窗口，切换间隔小于30秒 状态由事件触发流转，阈值可以结合不同岗位业务特点做自定义配置。 2.2 甘特图数据结构 可视化核心是变体甘特图。横轴代表时间，纵轴为应用、网页、文档等活动类别，彩色条块标记每项活动起止时刻和持续时长。 数据库采用区间存储，每条记录保存活动类型、标识、开始时间戳、结束时间戳、持续时长。建立R‑Tree或者区间树索引，时间段查询复杂度从O(n)优化到O(log n)。管理员选定时间区间，系统做区间匹配，返回对应全部行为记录，聚合输出行为摘要。 2.3 排行榜与聚合统计 按天做行为聚合统计，形成各类排行榜。按应用、网页、文档分组，统计总运行时长、前台活跃时长、窗口切换次数。 排行榜综合多维度权重：前台活跃权重大于后台运行时长；区分办公业务软件与娱乐软件；连续专注行为得分高于碎片化操作。聚合输出既用于可视化展示，同时作为行为基线的输入，支撑异常检测与趋势分析。 三、可视化呈现：多维行为数据的图形化表达 3.1 时间轴可视化：从线性到交互 分层时间轴设计，兼顾全局概览和细粒度查看： 概览层：小时粒度，热力图展示整体活跃度 中层：分钟粒度，展示各类活动交替情况 细节层：秒粒度，展示窗口级完整行为序列 支持缩放、平移交互。放大到秒级展示窗口精确起止；缩小到小时级别自动聚合类别统计。 3.2 标签化分类体系 标签化实现原始日志向业务语义转换，维护知识库将程序、域名映射业务分类。 一级分类 二级分类 典型示例 办公软件 文档处理 Microsoft Word, WPS Writer 办公软件 电子表格 Microsoft Excel, WPS Spreadsheet 开发工具 IDE Visual Studio, IntelliJ IDEA 开发工具 版本控制 Git, SVN 通讯协作 即时通讯 WeChat, DingTalk 通讯协作 视频会议 Zoom, Teams 网络浏览 搜索引擎 google.com, baidu.com 网络浏览 社交媒体 weibo.com, twitter.com 支持管理员自定义分类，正则、域名模式批量匹配。可按类别做聚合统计，输出开发工具时长排名、高频业务系统访问排行。 ...