当前位置：首页 > article >正文

系统架构图设计（行业领域架构）

article 2024/10/26 11:31:40

物联网

感知层：主要功能是感知和收集信息。感知层通过各种传感器、RFID标签等设备来识别物体、采集信息，并对这些信息进行初步处理。这一层的作用是实现对物理世界的感知和初步处理，为上层提供数据基础
网络层：网络层负责处理和传输感知层收集到的信息。它利用互联网、传统电信网等作为信息传输的载体，将数据传输到数据中心或控制系统进行处理和存储。网络层的主要作用是实现数据的传输和融合，为应用层提供稳定可靠的数据服务。
应用层：这是物联网的最顶层，直接与用户交互。应用层利用经过分析处理的感知数据，构建面向各行业实际应用的管理平台和运行平台，为用户提供特定的功能和服务。例如，在智能家居、智能交通、智能医疗等领域，应用层将物联网技术与具体行业需求相结合，实现便捷、高效的服务。

这三层架构相互依存、相互支持。感知层提供数据基础，网络层负责数据传输和处理，而应用层则将物联网技术应用于具体行业，为用户提供丰富的功能和服务。这种分层架构使得物联网具有很好的可扩展性和灵活性，可以根据不同行业和用户需求进行定制化开发和应用

大数据

Lambda 架构

lambda 架构主要由三个层次组成：批处理层、加速层、服务层

批处理层（batch Layer）
- 存储数据集，预计算查询函数，构件批视图
- 离线处理，结果精确、全量，处理时延高

加速层（Speed Layer）
- 处理最近的增量数据流，不断更新实时视图
- 实时处理，结果可能不准，非全量，处理时延低

服务层（Serving Layer）
- 合并批处理和实时视图中的结果数据集到最终数据集

Hadoop: Hadoop 是一个开源的分布式计算平台，由Apache软件基金会开发和支持。它允许分布式处理大规模数据集，主要应用于大数据的存储和计算。
- HDFS: HDFS 是Hadoop 的存储系统，它能够横跨多个物理服务器存储大量数据。HDFS 采用主从架构，由一个主节点（NameNode）和多个数据节点（DataNode）组成。NameNode负责维护文件系统的命名空间和文件到数据块的映射，而DataNode 负责存储实际的数据并处理客户端的数据读写请求。
- MapReduce:MapReduce 是Hadoop 的原生计算框架，用于大规模数据处理。MapReduce作业由Map任务和Reduce 任务组成，这些任务在Hadoop 集群上并行运行，处理存储在HDFS 中的数据。
- Hive:Hive是一个建立在Hadoop之上的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表。它允许用户使用类似SQL的查询语言（HiveQL）来查询数据
- Sqoop:Sqoop是一个用于在Hadoop和结构化数据存储（如关系数据库）之间传输大量数据的工具;它主要用于在Hadoop和关系数据库之间进行数据迁移

Spark：Apache Spark 是一个通用的、基于内存的分布式计算引擎，用于大规模数据处理。它的核心原理是将数据分散到多台计算机上并在这些计算机上并行执行计算任务，从而实现高效的数据处理和分析
- Spark Streaming：spark streaming 是Spark 提供的流处理模块，它可以处理来自实时数据源的数据流，并将其转换为可供分析和存储的批处理数据

Impala：Impala是一个开源的大数据查询引擎，由Cloudera开发，用于高性能、低延迟的交互式SQL查询处理。它可以直接在HDFS或HBase上执行查询，而无需数据转换或移动
Hbase：HBase是一个开源的、非关系型分布式数据库，它是Apache软件基金会的一个项目。它基于Google的BigTable模型，用于提供对大规模数据集的随机实时读/写访问
ETL:是一种数据处理过程，包括数据的抽取，转换，加载过程
Kafka:Kafka是一个开源流处理平台，主要用于构建实时的数据流和消息队列系统
Flume:Apache Flume是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据;它适用于日志数据的收集，可以将数据从各种源传输到中心数据存储（如HDFS）
Nginx:Nginx是一款轻量级的Web服务器/反向代理服务器

Kappa 架构

Kappa架构为两层架构分为实时层、服务层

实时层
- 处理输入数据，生成实时视图

服务层
- 使用实时视图中的结果数据集响应用户请求

ODS、DWD 和 DWS 是数据分层体系结构中的术语，它们代表不同类型的数据存储和处理层

ODS (Operational Data Store，操作数据存储)：ODS 是一种数据存储系统，用于存储最近的、细粒度的、经过少量处理的业务数据；它通常用于日常运营报告和分析，数据在 ODS 中是面向事务的，反映了最新的业务操作状态；ODS 可以用于快速查询和实时决策支持，同时也可以作为数据仓库的数据源
DWD (Data Warehouse Detail，数据仓库明细层)：DWD 是数据仓库中的一个层次，它存储了经过清洗、转换和集成的详细业务数据；这一层的数据通常是事务级别的，用于支持详细数据分析，也是构建更高层次汇总数据的基础；DWD 的设计目的是为了长期存储、历史分析和数据挖掘
DWS (Data Warehouse Summary，数据仓库汇总层)：DWS 是数据仓库中的汇总数据层，它包含了从 DWD 中聚合而来的数据；这一层的数据通常是按照某些维度（如时间、地区、产品等）进行汇总的，用于快速生成报告和仪表盘。DWS 旨在提供高效的数据查询性能，特别是对于需要汇总数据的复杂查询

计算集群CDH：CDH是由Cloudera提供的一个企业级大数据平台，它包括了Apache Hadoop及其众多相关开源项目。
ElasticSearch:ElasticSearch是一个高度可扩展的开源全文搜索和分析引擎，它允许你快速地存储、搜索和分析大量数据。
OpenTSDB:OpenTSDB（Time Series Database）是一个可扩展的监控解决方案，用于存储和服务器的时间序列数据，通常用于监控大规模系统。
Flink:Apache Flink 是一个开源流处理框架，用于在高吞吐量和低延迟的情况下处理有界和无界数据流。Flink 旨在提供高效、可靠、可伸缩的大数据处理解决方案，并且以其流处理能力而著称。

边缘计算

边缘计算：将数据的处理、应用程序的运行以及一些功能服务的实现，由网络中心下放到网络边缘节点上。
云计算中心：云计算中心是指一种提供云计算服务的物理设施，它包含了大量的服务器和网络设备，用于存储、处理和分发大量数据。
边缘数据中心：边缘数据中心是相对于传统集中式数据中心而言的，它位于网络的边缘，更靠近数据源和用户
云边缘计算：云边缘计算是一种将云计算资源和能力扩展到网络边缘的架构，旨在将云计算中心的强大计算能力和边缘数据中心的低延迟特性结合起来
边缘网关：边缘网关是位于云计算中心和边缘数据中心之间的设备，它负责连接各种终端设备和云资源
AIoT（人工智能物联网）盒子:是一种集成多种技术的智能设备，它结合了人工智能和物联网技术，广泛应用于各种行业和场景

嵌入式

RTOS：嵌入式RTOS是一种专门为嵌入式系统设计的操作系统，它能够提供实时计算能力，即系统必须确保在规定的时间内完成特定任务的处理
BSP：BSP是针对特定硬件平台（通常是嵌入式系统）的软件集合，它为操作系统提供了与硬件交互的接口。BSP的作用类似于PC上的硬件驱动程序，但通常更加复杂，因为它涉及到硬件初始化、配置和抽象。

宏内核架构

宏内核：宏内核是一种传统的操作系统设计，在这种设计中，操作系统的所有核心功能都运行在单一的内核空间中，并且都享有内核态的权限。
特点：
- 集中式：所有的系统服务，如进程管理、文件系统、设备驱动和内存管理等，都集成在内核空间中。
- 性能：由于所有的服务都在内核空间直接运行，宏内核通常可以实现较高的性能。
- 简单性：相对于微内核，宏内核的结构相对简单，因为所有的服务都在同一个地址空间中运行。
- 稳定性：宏内核的稳定性通常依赖于各个组件的稳定性和正确性，一旦某个组件出现问题，可能会影响到整个系统的稳定性。

优点：
- 效率高：由于所有服务都在内核空间直接运行，减少了用户空间和内核空间之间的切换，从而提高了效率。
- 易于实现：宏内核的设计和实现通常比微内核简单。

缺点：
- 可扩展性差：增加新的系统服务通常需要修改内核代码，这可能涉及到复杂的内核修改过程。
- 安全性问题：由于所有服务共享同一个地址空间，一个服务的故障可能会导致整个系统的崩溃。

微内核架构

微内核：微内核是一种精简的操作系统设计，它只包含最基本的系统服务，如进程和线程管理、通信机制等，而将其他服务（如文件系统、设备驱动等）移到用户空间中运行。
特点：
- 模块化：微内核仅提供最基本的服务，其他服务作为独立的进程在用户空间运行。
- 安全性：由于大部分服务在用户空间运行，即使服务崩溃，也不会影响到内核本身。
- 可扩展性：添加或修改服务不需要修改内核，只需要在用户空间进行，这使得系统更加灵活和可扩展。

优点：
- 更高的安全性：由于用户空间的服务崩溃不会影响内核，系统的安全性得到了提升。
- 更好的可扩展性：可以轻松添加或更新系统服务，而不需要重新编译内核。

缺点：
- 性能开销：微内核设计通常会导致更多的用户空间和内核空间之间的切换，这可能会带来性能开销。
- 复杂性：微内核的通信机制比宏内核复杂，这可能导致实现上的困难。

信息系统

战略系统：战略系统是指支持企业或组织的长期战略目标和决策的系统。这些系统通常涉及高级管理层的决策支持和战略规划。
- 应用：企业资源规划系统（ERP）、战略管理信息系统、大数据分析平台

业务系统：业务系统是指直接支持企业日常运营和管理的系统。这些系统通常与组织的核心业务流程紧密相关。
- 应用：客户关系管理（CRM）系统、供应链管理（SCM）系统、人力资源管理（HRM）系统

应用系统：应用系统是指为特定用户或部门提供特定功能的软件系统。这些系统通常是业务系统的组成部分，或者是为特定任务设计的。
- 应用：邮件管理系统、财务会计软件、数据库管理系统

企业信息基础设施：指根据企业当前业务和可预见的发展趋势，及对信息采集、处理、存储和流通的要求，构筑由信息设备、通信网络、数据库、系统软件和支持性软件等组成的环境
- 技术基础设施：计算机、网络、系统软件、支持性软件、数据交换协议
- 信息资源设施：数据与信息本身、数据交换的形式与标准、信息处理方法
- 管理基础设施：组织结构、人员的分工、管理方法与规章制度

TOGAF

TOGAF:开放式企业架构框架标准，为标准、方法论和企业架构专业人员之间的沟通提供一致性保障。
- 架构能力框架：架构能力框架是指在企业内部建立和维护有效的企业架构实践所需的一套组织结构、流程、角色、技能和工具。
- 架构开发方法：架构开发方法（ADM）是TOGAF的核心，它提供了一套企业架构的开发和实施流程。
- 架构内容框架：架构内容框架定义了企业架构文档的结构和内容，确保了架构工作的连贯性和一致性。
- 企业连续体及各种工具：企业连续体是一个概念，它描述了企业架构中不同类型的架构资产的范围和成熟度。
- ADM 指南和技术：ADM指南和技术提供了在执行ADM各个阶段时使用的具体方法和技巧。
- TOGAF 参考模型：TOGAF参考模型是一套预定义的架构模型，用于帮助企业架构师在设计和实施企业架构时保持一致性。

通信系统

信息系统架构一般分为三个层次：接入层、汇聚层、核心层
接入层：
- 通常将网络中直接面向用户连接或访问网络的部分称为接入层，目的是允许终端用户连接到网络，主要解决相邻用户之间的互访需求，并且为这些访问提供足够的带宽。
- 接入层还应当适当负责一些用户管理功能（如地址认证、用户认证、计费管理等），以及用户信息收集工作（如用户的Ip地址、MAC 地址、访问日志等）

汇聚层：
- 是核心层和接入层的分界面，完成网络访问策略控制、数据包处理、过滤、寻址，以及其他数据处理的任务。汇聚层交换机是多台接入层交换机的汇聚点，它必须能够处理来自接入层设备的所有通信量，并提供到核心层的上行链路，因此，汇聚层与核心层比较具有更高的性能、更少的接口和更高的交换速率

核心层：
- 网络主干部分称为核心层，核心层的主要目的是在于通过告诉转发通信，提供优化，可靠的骨干传输结构。因此，核心层交换机应拥有更高的可靠性，性能和吞吐量。在纯粹的数据分层设计中，核心层只完成数据交换的特殊任务。
- 需要根据网络需求的地理距离、信息流量和数据负载的轻重来选择核心层技术，常用的技术包括ATM、100Base-Fx和千兆以太网等。在主干网中，考虑到高可用性的需求，通常会使用双星（树）结构，即采用两台同样的交换机，与汇聚层交换机分别连接，并使用链路聚合技术实现双机互联。
- 核心层的设备采用双机冗余热备份是非常必要的，也可以使用负载均衡功能来改善网络性能。

安全体系架构

系统安全架构

信息安全体系架构，具体可从以下5个方面展开安全体系的架构设计工作
- 物理安全（前提）：包括环境安全、设备安全、媒体安全
- 系统安全（基础）：包括网络结构安全、操作系统安全、应用系统安全
- 网络安全（关键）：包括访问控制、通信保密、入侵检测、网络安全扫描、防病毒
- 应用安全：包括资源共享、信息存储
- 安全管理：包括健全的体制，管理平台，人员安全防范意识