网站代码多彩,wordpress 群组插件,手机维护 Wordpress,wordpress数据都被存在哪1、摘要
随着互联网的发展#xff0c;自动化工具和脚本#xff08;Bots#xff09;的使用越来越普遍。虽然一些善意 Bots 对于网站的正常运行和数据采集至关重要#xff0c;但恶意 Bots 可能会对网站带来负面影响#xff0c;如爬取敏感信息、恶意注册、刷流量等。因此自动化工具和脚本Bots的使用越来越普遍。虽然一些善意 Bots 对于网站的正常运行和数据采集至关重要但恶意 Bots 可能会对网站带来负面影响如爬取敏感信息、恶意注册、刷流量等。因此检测和分析 Bot 流量变得至关重要。
Bot恶意流量检测手段大致可分为前端检测和后端数据分析前端包括设备指纹获取、浏览器插件信息获取等后端主要是制定检测模型与威胁情报、IP信誉等手段结合。在整个恶意流量识别过程中前端与后端的两者相辅相成。
在这篇文章中我们将基于网宿自身站点的访问日志分析探讨如何使用后端基础检测方案来分析识别恶意Bot流量包括 IP 情报、 User-Agent、 TLS 指纹、 请求头特征等。
2、情报与检测策略
威胁情报是支撑后端检测模型最重要的数据之一通过这些信息安全专家可以更好地预防、检测和应对网络攻击。持续更新和共享威胁情报是防范恶意Bot攻击的关键步骤能够大幅提升整体防御水平保障网络的稳定和安全。我们可以通过以下方式来检测恶意Bots请求
IP情报
IP作为互联网的身份标识一直是黑灰产竞争最激烈的资源。随着防护手段的升级黑产技术也在快速发展秒播代理、4G代理代理、动态住宅代理成为当前主流的黑产IP资源大量应用于各种Bot场景中包括恶意刷量、注册、抢票、薅羊毛等由于其代理的隐匿性较高特征难以被发现因此对互联网安全存在较高的威胁。因此如何收集IP情报以及使用IP情报在恶意Bot流量检测中显得尤为重要。
特性秒播IP4G代理动态住宅代理来源数据中心服务器移动运营商4G网络互联网服务提供商ISP隐匿性较低易被识别为代理IP高难以被识别为代理IP高难以被识别为代理IP动态变化可以快速切换但仍较易被识别高频率动态变化隐匿性强动态变化隐匿性强带宽和性能高带宽和高性能适合大规模数据传输带宽有限性能受移动网络环境影响较低带宽受家庭网络环境限制成本较低较高较高应用场景数据抓取、网络营销、自动化测试账号注册登录、广告点击、投票、反爬虫绕过反爬虫绕过、广告验证、访问受限内容
对IP特征和行为上分析有助于我们持续定位和收集威胁情报
地理位置过滤正常用户的访问通常来自全球各地而恶意Bot可能集中在特定的国家或地区。例如短时间内来自同一个IP段的访问如图1所示。 图1 异常IP段
ISP和数据中心过滤普通用户通常使用家庭宽带或移动网络而恶意Bot 流量IP通常来自于云厂商或者数据中心识别这些ISP信息可以帮助过滤潜在的恶意流量如图2所示。 图2 数据中心IP
DDoS攻击源DDoS攻击场景与恶意Bot场景通用需要使用代理或者僵尸网络同一批恶意IP通常不会只发起一次攻击而是会被多次使用如图3所示。 图3 DDoS攻击源
TLS指纹
TLS指纹是一种极其有效的工具通过对TLS客户端client hello包中的不同字段进行深入分析我们可以生成独特的JA4指纹并利用这些指纹来识别特定的恶意Bot流量。此前我们已着重对TLS指纹进行深度分析在本文中不再赘述感兴趣的读者可以访问文章https://www.freebuf.com/articles/web/393136.html
TLS策略详情描述Chrome 指纹异常User_agent为Chrome但是实际tls指纹不匹配Firefox 指纹异常User_agent为Firefox但是实际tls指纹不匹配MS Edge 指纹异常User_agent为Edge但是实际tls指纹不匹配Safari 指纹异常User_agent为Safari但是实际tls指纹不匹配IE 指纹异常User_agent为IE但是实际tls指纹不匹配Opera 指纹异常User_agent为Opera但是实际tls指纹不匹配不常见的指纹tls指纹异常并且很少见
HTTP请求头检测策略
正常用户的请求通常带有丰富的HTTP头信息包括用户代理User-Agent、浏览器版本、操作系统等信息而恶意爬虫往往使用伪造或异常的User-Agent字符串甚至可能缺少其他必需的头信息。 3、策略模型
诚然在Bots对抗场景中仅基于特征来识别Bots未免有些太小儿科也容易被攻击者通过通过伪造特征的方式绕过检测手段因此多特征模型检测的重要性不言而喻它不是单一维度的检测而是基于多维度数据分析进行综合评估不仅有助于提高识别效率也同时能降低误报的风险。
在情报和检测策略的基础上我们可以制定策略的权重和得分当一个请求发起的时候根据命中的策略进行评分本方案设置三个区间可疑、中风险、高风险并根据风险等级进行不同的处置动作各风险等级的分数如下
可疑0-20分中风险20-60分高风险大于60分
Bot对抗过程中除了识别准确率之外误报率是衡量一个模型是否可靠的重要性指标虽然恶意Bot流量给网站带来很大的影响但是误报可能给业务带来灾难性的后果因此Bot检测模型设计的时候在保证准确率的同时更应尽量避免误报的发生。
使用评分方式来设计模型的好处在于具备一定的容错率通常情况下一个恶意的Bot请求会有多个异常特征而正常的请求不可能具备多个异常特征。因此在进行高风险处置的情况下准确性较高误报率较低。 图4 检测模型
4、流量分析
数据过滤
通过第三步的检测模型对线上流量进行统计分析选取部分模型结果为高风险的IP进行验证筛选的高风险IP对应的得分如图5所示 图5高风险IP
数据验证
验证模型输出结果的准确性以及是否误报借助国内知名威胁情报中心对高风险IP进行查询结果如图所示7个IP中2个为恶意3个可疑2个未知。 图6 威胁情报查询
为了进一步验证准确性将2个未知风险IP111.170.14.*IDC服务器、106.15.73.*阿里云IP 进一步分析。
通过异常指纹情报库查询发现IP111.170.14.* 在6月7号-6月9号出现过异常指纹特征并伪造了Chrome95、69、114如图7所示。IP 106.15.73.* 则更为活跃并伪造了多种类型的浏览器进行异常访问如图8所示。 图7 异常指纹情报 图8 异常指纹情报
通过上述模型过滤可以得出风险较高的请求通过结合其他处置动作例如验证码等操作可以有效过滤恶意流量从而保障业务的安全和稳定。
5、结语
在当今数字化时代恶意Bot流量已成为威胁网络安全和数据隐私的主要挑战之一。通过对IP地址、请求头和TLS指纹的综合分析我们能够更有效地识别和防范恶意Bot的活动。这些技术手段不仅有助于提升网站和应用的安全性还能优化用户体验防止合法用户受到不必要的影响。
在本文中我们探讨了如何利用这些关键数据点来检测和分析恶意Bot流量。通过详细的案例研究和实验我们展示了多层次防御机制的重要性以及不同方法的协同作用。虽然恶意Bot的技术手段不断进化但通过持续的研究和技术创新我们有能力保持在这场网络安全攻防战中的主动地位。
未来的研究方向可能包括更多的机器学习算法应用、更精细的指纹识别技术以及跨平台的协同防御机制。我们相信随着技术的不断进步和安全社区的共同努力互联网将变得更加安全和可靠。
总的来说恶意Bot流量的分析和防护是一项复杂但至关重要的任务。通过不断更新和优化我们的检测和防御策略我们能够更好地保护网络环境确保互联网的健康发展。
