z6首页

数字经济的安全基石

申请试用

媒体报路

首页 > 关于z6首页 > z6首页动态 > 2021 > 正文

破解海量网络安全大数据存储难题,,,,,,我们做了这六步

阅读量:次
Elasticsearch是一种盛行的企业级搜索引擎,,,,,,它为企业提供了一个散布式多用户能力的全文搜索引擎。。。。 。。。在现实的网络安全大数据领域,,,,,,ES作为大数据组件,,,,,,时时承担着业务上主题的数据存储与数据查问分析职能,,,,,,直接关系着整个数据安全产品的职能与机能。。。。 。。。

z6首页AiLPHA大数据智能安全平台,,,,,,是网络安全大数据领域极度优良的产品和利用解决规划,,,,,,其内部集成着:超大规模数据存查、大数据实时智能分析、威胁谍报碰撞、全网流量处置、复杂事求实时处置等职能,,,,,,更具备了流推算工作监控治理、安全模型定造化开发与编排治理、ES及kafka运维监控治理、语法统一与转换职能。。。。 。。。

而以上所有这些职能的实现与不变运行,,,,,,所依附的,,,,,,都是其内部自研的大数据框架——BaaS。。。。 。。。


图1 BaaS平台架构


BaaS,,,,,,不仅仅意味着后端即服务,,,,,,也秉承AiLPHA提出的大数据尝试室大数据即服务的理想。。。。 。。。如图1所示,,,,,,BaaS不仅是整个z6首页AiLPHA大数据智能分析平台的推算主题,,,,,,负担着数据ETL、实时流推算、模型匹配、告警天生、数据入库等主题的数据处置业务,,,,,,更为产品提供了统一的运维监控治理平台,,,,,,以应对ES、kafka等组件的治理。。。。 。。。BaaS为z6首页的网络安全业务提供一整套系统、成熟的大数据解决规划。。。。 。。。


网络安全大数据分析的业务挑战


多源异构的数据接入

网络安全大数据分析平台,,,,,,不成能不支持多样的数据体式与类型,,,,,,它必要对分歧厂家分歧类型探针采集到的分歧体式数据进行统一分析入库。。。。 。。。

差距化的海量数据存储

网络安全大数据分析存储的场景,,,,,,决定了其数据重要能够分为:流量数据、日志数据、中央推算了局、告警数据、维表数据等几类。。。。 。。。出格是海量的流量和日志数据时时;;;;;;;岫约涸斐珊艽蟮难沽Γ,,而接入的数据在分歧客户分歧现场的数据散布情况上也都有很大的差距。。。。 。。。例如常见的:数据在功夫散布上存在周期性的顶峰期,,,,,,以至在ES集群中造成了超大索引,,,,,,若是不加以有效的治理,,,,,,将使索引的大幼齐全取决于客户数据的接入,,,,,,内容是对自己的集群失去了节造。。。。 。。。

分析了局数据的细化治理

对于网络安全大数据平台类的产品,,,,,,在数据入库的同时还必要对数据进行推算分析,,,,,,这些分析推算的了局数据能够用于报表天生、大屏展示、模型再匹配等。。。。 。。。这类数据时时与具体的分析业务或安全模型有关。。。。 。。。而基于安全大数据平台中盛开的自界说安全模型治理职能,,,,,,用户能够在大数据智能安全平台上自界说增长治理模型或业务,,,,,,这也就对有关的ES索引治理提出了需要。。。。 。。。

机械资源的适配

CPU、内存、磁盘等等这些,,,,,,机械资源始终是有限的。。。。 。。。若何在各个现场所理分配资源、配置ES索引,,,,,,若何更便捷适配分歧的机械资源环境,,,,,,这些都对BaaS的ES索引治理提出了挑战。。。。 。。。

数据性命周期的治理

对于数据的治理,,,,,,不仅仅是针对于数据写入,,,,,,还该当蕴含对已经入库的数据的整个性命周期的治理。。。。 。。。数据入库之后保留多久????????有没有必要把所罕见据都放在ES的内存中支持急剧查问????????若是一止剽样下去系统怎么能力持续运行????????是否要实现数据的冷热分离????????这些问题,,,,,,都是值得思考的。。。。 。。。

与上层业务的去耦合

对于网络安全大数据平台类的产品,,,,,,数据入库对应的索引后,,,,,,还必要支持查问检索、安全分析的操作与业务,,,,,,这就要求ES索引治理战术与上层业务去耦合,,,,,,不然将使得底层的索引的分类方式、定名方式、甚至于治理方式与查问业务严沉耦合,,,,,,牵一发而动全身。。。。 。。。

时时;;;;;;;嵊锌突б螅簔6首页索引按地域划分好不好????????能不能不按周划分而是按半年????????z6首页索引就是想叫我们自己喜欢的名字,,,,,,等等这些,,,,,,在之前往往只能是定造团队带队上线,,,,,,定造开发。。。。 。。。


实际规划


为破解海量网络安全大数据存储难题,,,,,,BaaS已经形成了一套齐全的ES治理机造,,,,,,针对分歧版本、分歧环境、分歧客户需要的大数据智能安全平台业务,,,,,,提供动态配置,,,,,,急剧便捷地适应产品必要。。。。 。。。


1.? 索引划分的优化

在海量的大数据网络安全执行经验的基础上,,,,,,BaaS优化了默认的索引划分方式。。。。 。。。将海量的日志数据凭据威胁等级等属性进行划分,,,,,,统一保留在日志类型有关的索引中;;;;;;;;将异常纪录、原始告警、统计指标等其他类型数据按较长的功夫周期划分,,,,,,例如月、半年、一年或不划分,,,,,,并且将划分方式与具体的安全模型或业务解耦,,,,,,将这类数据全数统一打上相应的标签标识所属业务,,,,,,实现对入库数据的差距化。。。。 。。。

BaaS通过合理的细化治理,,,,,,优化索引种类、数量、吩飕数,,,,,,在两全业务的同时极大地削减了守护成本与ES集群的压力。。。。 。。。

另表,,,,,,分歧于之前硬编码强耦合的方式,,,,,,BaaS支持动态的配置调整索引的名称、划分周期及业务寓意等,,,,,,对于分歧的网络安全场景,,,,,,都能够仅通过配置动态定造自己的入库战术与索引划分方式。。。。 。。。

2、引入别号

若是索引划分的逻辑调换了,,,,,,或者凭据客户要求通过BaaS批改了索引的名称、划分周期,,,,,,那么之前有关联的其他业务????????椴皇且捕家孀鸥囊槐槁????????

No,,,,,,No,,,,,,No!

BaaS引入了ES的别号机造,,,,,,使得与ES有关的其他业务可能和BaaS的ES索引治理的战术解耦。。。。 。。。索引别号能够指向一个或多个索引,,,,,,并且能够在职何必要索引名称的API中使用。。。。 。。。别号为我们提供了极大的矫捷性,,,,,,它允许我们在在运行的集群上的一个索引和另一个索引之间切换,,,,,,或对多个索引进行分组组合,,,,,,而这些对于业务的挪用方是通明的。。。。 。。。例如:为兼容旧版本业务,,,,,,默认情况下每种索引城市有一个与从前版本同类型索引名对应的别号,,,,,,使得其他业务可能依然正常使用。。。。 。。。

另表,,,,,,对于每个索引,,,,,,能够配置多个别号,,,,,,适配多种安全大数据分析场景。。。。 。。。

以上这些,,,,,,都能够通过BaaS动态配置治理实现,,,,,,这就达到相识耦上层业务的主张。。。。 。。。

3、ES索引模板守护

BaaS在海量大数据存储与安全分析的业务中引入了索引模板的治理。。。。 。。。对于每一种划分的索引,,,,,,都首先为其新建模板,,,,,,而后在新建索引以利用模板中的设置。。。。 。。。

在索引的模板中,,,,,,能够配置索引的别号、索引的配置(settings)、字段映射(mappings)等信息,,,,,,明确地设定索引的吩飕数、副本数及其他可优化机能的配置。。。。 。。。

同时,,,,,,基于BaaS统一的数据字典治理职能,,,,,,我们凭据分析团队及客户提供的数据字典,,,,,,动态的天生索引mapping,,,,,,规范数据的写入,,,,,,使得海量的异构数据遵循统一的数据字典尺度。。。。 。。。另表,,,,,,动态mapping的支持使得z6首页的大数据安全平台具备了动态拓展能力,,,,,,也能支持客户现场多样的不在字典中的非标字段。。。。 。。。

我们还将索引的模板配置盛开到了BaaS自己的前端界面,,,,,,便于运维与监控。。。。 。。。例如:在批改了某一类索引的模板内容后,,,,,,BaaS将自动批改ES集群中模板的内容,,,,,,并新建一个新的索引以利用最新的模板配置,,,,,,并将可写的别号指向这个新建的索引。。。。 。。。整个操作对于业务方式齐全通明的,,,,,,但在后端内容上已经实现了索引配置的实时更新。。。。 。。。

4、ES索引性命周期治理

ES的索引性命周期,,,,,,能够随功夫的推移治理索引。。。。 。。。对于功夫序列的索引,,,,,,索引性命周期有四个阶段:hot——索引积极地更新和查问、warm——索引不再更新,,,,,,但仍在查问钟注cold——索引不再更新并且很少被查问。。。。 。。。信息依然可搜索,,,,,,能够接受较慢的查问速度、delete——不再必要索引,,,,,,能够安全地删除它。。。。 。。。

BaaS引入了ES的索引性命周期治理机造,,,,,,对每一种索引都配置了相应的性命周期。。。。 。。。它与索引的别号治理、模板治理,,,,,,三者之间是缜密联系,,,,,,三位一体的。。。。 。。。

出格是,,,,,,在hot阶段,,,,,,我们配置了索引滚动(rollover)。。。。 。。。这一职能使得我们能够设置一个存储空间或数据条数的阈值,,,,,,当数据持续写入时,,,,,,一旦超过这一阈值,,,,,,ES将进行索引滚动,,,,,,新建一个索引并使得原有索引的写别号指向这个索引,,,,,,同时还会将原索引象征为只读。。。。 。。。而又由于BaaS为每一种索引都设置了对应的模板,,,,,,新天生的索引仍将利用我们配置好的索引,,,,,,整个系统可能持续不变运杏祝。。。 。。。这就解决了常见的数据不平衡导致的个别索引过大问题。。。。 。。。

除此之表,,,,,,在warm、cold阶段,,,,,,通过BaaS也能够相应地设置索引收缩、冷冻等操作,,,,,,以减轻大数据安全分析集群存储和运行时的压力。。。。 。。。

5、按时工作

由于ES6.8版本自身对于性命周期的实现还有好多必要改进之处,,,,,,BaaS平台为实现集群的长功夫不变运行,,,,,,对于常见的异常情况都配置了相应的按时工作,,,,,,在ES自身机造之表提供了“双保险”,,,,,,保障着模板治理、别号治理、性命周期治理这三者的持续可用,,,,,,保障着整个集群持久可持续不变运杏祝。。。 。。。

鉴于《中华人民共和国网络安全法》国度网络安全法中要求网络日志保留6个月以上的划定,,,,,,针对海量的网络安全大数据存储业务,,,,,,BaaS配置了有关的磁计算帐、按时查抄等工作,,,,,,保障数据在ES索引中的安全性的同时也将实时算帐沉要级别较低的数据,,,,,,使集群可能持久不变运杏祝。。。 。。。

6、动态支持

基于利用场景数据量、成本等成分,,,,,,安全大数据产品通常必要支持多变得机械资源环境配置,,,,,,例如有单台、双台、多台等,,,,,,或是ARM版、mini版、火速版等分歧分类,,,,,,更有各类定造项目。。。。 。。。而不论是哪个版,,,,,,可能分配给BaaS、分配给ES的资源总是寥若晨星。。。。 。。。在分歧环境中若是都使用一套配置那显然是不现实的。。。。 。。。

BaaS有一套动态的机造,,,,,,能够凭据ES集群的节点数,,,,,,动态的配置模板中的吩飕数、索引性命周期中的索引滚动阈值等,,,,,,实现自适应的ES索引的治理。。。。 。。。


不休精进


随着网络安全大数据分析业务的不休拓展,,,,,,对ES索引治理提出了更多更高的要求。。。。 。。。随着多年的钻研和技术发展,,,,,,z6首页AiLPHA大数据智能安全平台针对网络安大数据有关有关的使用场景,,,,,,我们还在不休地精进。。。。 。。。

1.以自研的flink流推算工作实现etl????????椋,,代替了“较沉”的logstash;;;;;;;;

2.ES集群级此外配置优化;;;;;;;;

3.能够通过界面便捷操作的ES运维监控平台;;;;;;;;

4.ES写入战术优化;;;;;;;;

5.对于特殊场景、去除了副本及ES的translog机造以大幅提升机能。。。。 。。。


迎接挑战


z6首页信息AiLPHA大数据智能安全平台,,,,,,全天候监测60000+业务系统,,,,,,累计发现300000+起安全隐患,,,,,,协助公安追忆进攻案件五十余件,,,,,,为国度安全建设作出夺目成就。。。。 。。。

在企业态势感知领域,,,,,,率先落地UEBA、SOAR、ATT&CK,,,,,,推出智能资产测绘、AI关联分析、可编排的安全运营三大主题能力,,,,,,显著提升安全运营效能400%以上。。。。 。。。

在网络全球化的时期,,,,,,网络安全问题已经成为全球企业进行数字化转型的巨大故障。。。。 。。。z6首页信息安身国内,,,,,,全球布局,,,,,,成功启发欧洲、北美市场。。。 。。。,,为全球超过2000家客户提供高质量的态势感知服务。。。。 。。。

BaaS作为z6首页AiLPHA的推算主题,,,,,,将持续为这座大厦做好基础的、不变的、牢固的柱石,,,,,,为客户提供业务不间断不变运行安全保险,,,,,,致力于让安全更智能,,,,,,更单一。。。。 。。。

关关

客服在线征询入口,,,,,,等待与您互换

线上征询
产品试用

即刻预约免费试用,,,,,,我们将在24幼时内联系您

联系z6首页

征询电话:400-6059-110

微信征询
z6首页信息联系方式
【网站地图】【sitemap】