大数据平台的网络安全架构
大数据平台(XSailboat)是一个构建在机器集群之上的分布式系统,内部包含众多的基础设施和服务。除API网关和前端Web应用之外,其它的服务和基础设施都没有增加什么额外的安全控制,它们是不应该对外暴露的。为此我们引入了类似安全子网的机制,在网络上把整个平台的集群关入一个盒子中,只把API网关和前端Web应用暴露出去,对外提供服务。而基础设施,仅对充分有必要且充分信任的应用开放。整体的网络安全架构如下图所示:
可以通过SDN(软件定义网络)或通过高级网络管理工具,将大数据平台的集群,关在一个黑盒子里(安全子网),只开放有限的端口,例如有安全访问控制的Web应用前端、API网关。安全子网内部的主机和应用是受信的,可以不受限地自由访问。
基础设施也可以通过限制对端IP,谨慎地开放给少数其它应用使用,例如Kafka。其它应用的行为有时是不可控的,开放基础设施会给平台带来意想不到的不稳定性,有些需求可以通过封装服务对外提供。
在没有SDN或高级网络管理工具的情形下,可以借助SailCrane,让它基于系统规划,通过各个主机的iptable网络安全程序构建一个安全子网。这个安全子网只保护了平台基础实施和软件的端口,而没有封锁其它端口,避免云平台或软件安全软件失去对这些主机的控制。
👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻
XSailboat平台正在开源过程中,欢迎关注产品知识库:XSailboat知识库 · 语雀
👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻