【项目复现】——DDoS-SDN Detection Project

概要

介绍

项目地址：Detection-of-DDoS-attacks-on-SDN-network-using-Machine-Learning
项目结构：

数据集地址：Dataset

整体架构流程

项目中包含一份名为Major Project Documentation的pdf文件，可以理解为操作手册
简化后为以下是于在SDN（软件定义网络）环境中检测DDoS（分布式拒绝服务）攻击的实验步骤的完整流程，包含系统设置、网络配置、流量生成、数据采集、机器学习模型训练以及实时检测的实施细节：

1. 系统和网络配置

• 操作系统：采用Linux Ubuntu 20.04，分配20 GB的内存来确保系统能够处理大规模数据。
• 虚拟化：在Oracle VM VirtualBox中运行Linux镜像文件，确保本地运行Mininet 2.3.0。
• 网络拓扑：使用Mininet创建一个树形结构的SDN网络拓扑，深度为2层。这一拓扑结构中包括OpenFlow交换机，支持OpenFlow协议，能够实现控制器与交换机间的通信。这种拓扑设计模拟了SDN中常见的网络流量结构，有助于分析正常流量和攻击流量的差异。

2. SDN控制器配置

• 控制器选择：实验中采用了Pox控制器，该控制器基于OpenFlow协议，具有高性能、轻量级和易于定制等优点。Pox控制器提供了拓扑发现和路径选择功能，能够通过开放的API接口定制组件，以实现特定的功能。此外，它还具有架构清晰、性能稳定和扩展性强的特点。

3. 流量生成

• 正常流量生成：
  • 使用 Iperf 工具来生成典型的网络流量，可以通过发送TCP和UDP包来模拟常规的数据传输。
  • 具体命令：使用 ping 命令和 iperf 命令来进行流量生成，比如 iperf –c [目标IP] –i1 –t60 以确保稳定的数据包传输，这样可以建立正常的流量基线，以便后续检测到异常流量时可以更好地进行对比。
• 攻击流量生成（DDoS）：
  • 使用 hping3 工具来生成DDoS攻击流量，该工具可生成多种攻击流如ICMP、SYN和UDP泛洪，通过伪造包头信息来模拟攻击。
  • 具体命令：例如可以使用 hping3 -S -V -d 120 -w 64 -p 80 --rand-source --flood [目标IP] 命令来生成SYN泛洪攻击流量。这类流量用于测试SDN环境下的抗攻击能力【4†source】【4†source】。

4. 数据采集

• 脚本执行：
  • 在正常流量采集时，运行 collect_normal_traffic.py 脚本，并在Ryu Manager下监控网络中正常流量的传输。
  • 在攻击流量采集时，运行 collect_ddos_traffic.py 脚本，通过Ryu Manager捕获攻击流量，并将不同类型的流量数据整合到统一的数据文件中。
• 数据存储：将正常流量和攻击流量分别记录为不同的日志文件，包括每个流量包的数量、字节数和熵值，以供后续的机器学习模型训练使用

5. DDoS检测机制

• 流量监控：
  • 使用Pox控制器对数据包流量进行监控。通过记录流表条目和计数器，控制器能够计算每个时间窗口内的数据包熵值。
  • 设置熵值阈值：在实验中确定一个适当的熵值阈值（例如正常情况下的熵值最低点为0.8）。一旦检测到熵值持续下降至阈值以下，即可判断网络可能受到DDoS攻击，并将此数据包记录为攻击流量

6. 机器学习模型训练

• 数据集准备：将正常流量和攻击流量的数据集整合成一个包含200万行数据的文件。数据集包含多种特征值（如来源IP、包类型等）
• 模型训练：
  • 使用多种机器学习算法（如K-近邻算法（KNN）、支持向量机（SVM）、随机森林（RF））在RapidMiner平台上对数据集进行训练。
  • 在多次实验中，随机森林模型的检测准确率最高，被选为最终的部署模型

7. 实时检测部署

• 模型部署：
  • 将训练好的模型部署到SDN网络中，实时检测网络中的流量类型。基于预设的熵值阈值，模型能够判断流量包的类型（正常或恶意），并对攻击流量作出报警。
• 实时测试：
  • 使用ping命令生成正常流量，使用hping3命令生成攻击流量，验证模型在实时环境中识别正常与攻击流量的能力。通过日志记录观察模型在区分流量类型方面的准确性

通过以上流程，该实验旨在构建一个SDN环境下的DDoS检测系统，结合传统的流量检测方法和机器学习模型，实现对DDoS攻击的实时检测和识别。

前期准备

kali安装：借鉴这一篇，2023年最新Kali安装教程

项目下载的话，选择命令或者手动

git clone https://github.com/Bhanudeep/Detection-of-DDoS-attacks-on-SDN-network-using-Machine-Learning-.git

复现流程

第一步：系统和网络配置

1.1 安装和设置操作系统

• 操作系统选择：确保实验主机上安装了 Linux Ubuntu 20.04，并将内存分配为 20 GB（可根据具体硬件条件调整）。高内存配置是为了支持虚拟化软件和模拟的SDN网络环境。

1.2 安装VirtualBox和Mininet

• 安装VirtualBox：在主机上安装 Oracle VM VirtualBox。可以从VirtualBox官网下载安装包并按提示进行安装。

• 下载并运行Ubuntu镜像：

  • 在VirtualBox中创建一个新的虚拟机，选择Ubuntu 20.04镜像文件（ISO）进行系统安装。
  • 完成系统安装后，确保可以进入Ubuntu系统的桌面环境。

• 安装Mininet：

  • 在Ubuntu系统中，打开终端并执行以下命令来安装Mininet：

    sudo apt-get update
    sudo apt-get install mininet
    

  • 检查Mininet是否安装成功：可以通过在终端输入mn --version来验证，若返回版本号，则说明Mininet安装成功。
    

1.3 创建SDN网络拓扑

• 定义网络拓扑：
  • 使用Mininet创建一个树形结构的SDN网络拓扑，深度为2。这一拓扑设计使得模拟网络可以包含多个层次的节点（即交换机和主机），便于生成多样化的流量。
  • 执行以下命令，创建一个包含两个层级交换机的树状拓扑结构：

    sudo mn --topo tree,depth=2
    

  • 该命令会生成一个深度为2的树形拓扑，您可以看到多个交换机（switch）和主机（host）通过终端的命令行反馈。
    #### 1.4 配置OpenFlow协议支持
• Mininet的交换机默认支持 OpenFlow协议，这是SDN实验的重要基础，确保所有交换机都能通过OpenFlow协议和SDN控制器通信。

第二步：SDN控制器配置

在此实验中，我们使用 Pox控制器 作为SDN的控制器。Pox是一种轻量级的Python开源控制器，具备高性能和良好的扩展性，适合实验需求。

2.1 安装和运行Pox控制器

• 安装Pox：

  • 在Ubuntu系统中，通过以下步骤下载并安装Pox控制器：

    # 下载Pox源码
    git clone https://github.com/noxrepo/pox.git
    cd pox
    

  • 下载完成后，您可以进入 pox 目录以便后续进行控制器的配置和运行。

• 启动Pox控制器：

  • 启动Pox控制器并加载常用模块，如简单交换机模块 forwarding.l2_learning。以下命令可以启动Pox控制器并使用该模块：

    ./pox.py forwarding.l2_learning
    

  • 这个模块会让Pox控制器管理流表，将数据包转发到合适的端口，实现基本的网络流量控制。
    

2.2 自定义控制器功能（可选）

• 添加自定义功能：
  • 如果需要扩展Pox的功能，比如实现流量监控或自定义数据包转发规则，可以通过Python脚本在Pox中实现自定义模块。
  • 自定义模块的代码可以放置在 pox/ext 文件夹下，并通过调用命令来加载。例如：

    ./pox.py forwarding.l2_learning my_module
    

    其中，my_module 为自定义模块的文件名（无 .py 后缀），可以在此模块中加入自定义功能代码。

2.3 测试Pox控制器与Mininet的通信

• 启动Mininet：

  • 重新启动Mininet并指定使用Pox控制器，执行以下命令来启动Mininet：

    sudo mn --controller=remote,ip=127.0.0.1 --topo tree,depth=2
    

  • 该命令将控制器设置为运行在本地（127.0.0.1）的Pox控制器，并使用前面创建的树形网络拓扑。

• 验证控制器与网络的连接：

  • 使用Mininet中的 pingall 命令，测试网络节点间的连通性：

    mininet> pingall
    

  • 如果网络连接正常，则表明Pox控制器已经成功与Mininet中的交换机和主机建立了连接。
    

2.4 检查网络流量（可选）

• 流表查看：
  • 使用以下命令来检查交换机中的流表，以验证控制器的规则是否已经下发到交换机：

    sudo ovs-ofctl dump-flows s1
    

  • 这里的 s1 是网络拓扑中的交换机名称，查看其流表可以确认Pox控制器的流表是否成功下发。

第三步：流量生成

在SDN网络中生成不同类型的流量（正常流量和攻击流量）是DDoS检测实验的重要部分。我们将使用 Iperf 工具生成正常流量，并使用 hping3 工具生成攻击流量（DDoS攻击）。

3.1 生成正常流量

• 工具选择：使用 Iperf 工具来生成标准的TCP和UDP流量。
• Iperf安装：
  • 如果系统中未安装Iperf，可以通过以下命令安装：

    sudo apt-get install iperf
    

• 正常流量生成：

  • 步骤1：在Mininet中，打开两个主机（例如h1和h2）的终端，分别作为流量的发送端和接收端。
    

  • 步骤2：在接收端（例如h1）执行以下命令，启动Iperf服务器模式：

    iperf -s
    

  • 步骤3：在发送端（例如h2）执行以下命令，向h1发送TCP流量：

    iperf -c [h1的IP地址] -i 1 -t 60
    

    • [h1的IP地址] 需替换为接收端主机h1的实际IP地址。
    • 参数解释：-c 指定客户端模式，-i 1 表示每秒报告一次，-t 60 指定测试持续时间为60秒。

• UDP流量生成：若需生成UDP流量，可在发送端执行以下命令：

  iperf -c [h1的IP地址] -u -b 1M -i 1 -t 60
  

  • 参数 -u 指定UDP模式，-b 1M 设置带宽为1Mbps。

3.2 生成DDoS攻击流量

• 工具选择：使用 hping3 工具生成攻击流量（如SYN泛洪攻击）。
• hping3安装：
  • 如果系统中未安装hping3，可以通过以下命令安装：

    sudo apt-get install hping3
    

• 攻击流量生成：
  • 步骤1：在Mininet中的一台主机（如h3）执行以下命令，生成SYN泛洪攻击流量：

    hping3 -S -V -d 120 -w 64 -p 80 --rand-source --flood [目标主机IP]
    

    • 参数解释：
      • -S 表示发送SYN标志的数据包。
      • -V 启用详细输出。
      • -d 120 设置数据包大小为120字节。
      • -w 64 设置窗口大小为64。
      • -p 80 指定目标端口80。
      • --rand-source 使用随机源地址以模拟多源攻击。
      • --flood 发送包的频率达到最大以造成DDoS效果。
  • 注意：[目标主机IP] 需替换为接收端主机的实际IP地址。

3.3 验证流量生成

• 验证正常流量：

  • 在Iperf接收端（如h1），检查是否收到了从发送端发来的流量数据。
  • Iperf将显示传输速率和丢包率等信息，用于评估网络流量状况。

• 验证攻击流量：

  • 在目标主机（如h1）运行 tcpdump 或 wireshark 等工具，捕获并检查数据包，以确认是否接收到了来自hping3的高频攻击流量。
  • 例如，使用以下命令捕获SYN泛洪攻击流量：

    sudo tcpdump -i [接口名] tcp and port 80
    

    • [接口名] 需替换为目标主机的网络接口名称，例如 eth0。

第四步：数据采集

在SDN网络中生成的正常流量和攻击流量需要通过数据采集步骤记录下来，便于后续的数据分析和机器学习模型训练。在此实验中，我们使用Python脚本来采集流量数据并记录为统一的文件格式。

4.1 准备数据采集脚本

• 数据采集工具：实验中使用 Ryu控制器 来监控和收集流量数据。Ryu控制器能够捕获网络中的流量信息并记录相关的包特征（如源/目标IP、协议类型等）。
• 脚本说明：
  • collect_normal_traffic.py：用于捕获正常流量数据。
  • collect_ddos_traffic.py：用于捕获DDoS攻击流量数据。

4.2 配置和启动Ryu控制器

• 安装Ryu控制器：

  • 如果未安装Ryu，可以通过以下命令来安装Ryu：

    pip install ryu
    

• 运行数据采集脚本：

  • 启动Ryu控制器，并运行数据采集脚本来捕获流量数据。例如，运行 collect_normal_traffic.py 脚本以捕获正常流量：

    ryu-manager collect_normal_traffic.py
    

  • 该脚本会启动SDN控制器，并捕获网络中所有正常流量包的信息，包括源IP地址、目标IP地址、数据包大小等。

• 收集攻击流量数据：

  • 关闭collect_normal_traffic.py，启动 collect_ddos_traffic.py 脚本以捕获攻击流量：

    ryu-manager collect_ddos_traffic.py
    

  • 该脚本会启动SDN控制器，专门监控攻击流量的特征值，如包的发送频率、源IP的分布等。

4.3 记录和存储数据

• 数据存储：将正常流量和攻击流量的数据分别存储到不同的文件中（如CSV格式），以便后续用于机器学习训练。文件记录内容包括：
  • 时间戳：记录每个数据包的到达时间。
  • 源IP地址和目标IP地址：用于分析攻击流量的来源特征。
  • 协议类型（TCP/UDP）：判断流量性质。
  • 数据包大小和速率：用于量化流量的大小及其传输速率。
  • 熵值（可选）：记录流量数据的熵值，以便在后续步骤中通过熵值阈值检测异常流量。

4.4 数据格式合并（可选）

• 数据合并：为便于后续机器学习模型的训练，将正常流量和攻击流量的数据整合成一个统一的文件（如 traffic_dataset.csv），并添加标注列，如“正常”或“攻击”。
• 示例数据格式：

  时间戳, 源IP, 目标IP, 协议类型, 包大小, 速率, 标签
  2023-10-26 15:35:23, 10.0.0.1, 10.0.0.2, TCP, 64, 1Mbps, 正常
  2023-10-26 15:35:24, 10.0.0.3, 10.0.0.4, UDP, 128, 5Mbps, 攻击
  

4.5 验证数据质量

• 在数据采集完成后，对采集到的数据进行质量检查，确保数据无丢失、无重复，并满足训练需求。

第六步：实时检测部署

在完成机器学习模型的训练和评估后，我们将最佳模型（如随机森林模型）部署到SDN控制器中，以实现对网络中实时流量的检测。此步骤的目标是使模型能够在SDN网络中监控并检测DDoS攻击，一旦发现异常流量及时进行处理。

6.1 准备部署环境

• 部署平台选择：确保SDN控制器（如Pox或Ryu）已配置好并可以运行自定义脚本。部署机器学习模型的脚本需要在SDN控制器中设置。
• 集成训练模型：将训练好的机器学习模型导入到SDN控制器的环境中，以便它能够在接收到新的数据流量时进行预测。

6.2 实时流量监控与检测

• 流量监控：

  • 配置SDN控制器使其能够实时捕获网络中每个数据包的特征数据（如源IP、目标IP、协议类型、包大小等）。
  • 控制器将数据包的特征传递给部署的机器学习模型，以对其进行实时分类。

• 实时检测流程：

  • 数据流预处理：将实时捕获的数据预处理成模型可识别的格式，例如归一化或标准化处理。
  • 实时预测：将预处理后的数据传输给机器学习模型，模型输出“正常”或“攻击”标签。
  • 异常报警：一旦模型检测到攻击流量（如DDoS流量），SDN控制器将立即触发报警机制，并采取相应的应对措施，如阻断攻击流量、隔离受攻击主机等。

6.3 应对措施与流量控制

• 攻击流量阻断：

  • 一旦检测到攻击流量，控制器可以通过下发流表规则来阻止来自恶意IP的流量。
  • 在控制器上更新流表，以将恶意流量重新定向或丢弃，从而减轻DDoS攻击对网络的影响。

• 流量隔离：

  • 将被识别为攻击目标的主机或流量隔离，确保攻击流量不会扩散到其他网络节点。
  • 控制器可以将攻击流量路由到特定端口或隔离区，便于后续的日志记录和分析。

6.4 系统日志和数据反馈

• 实时日志记录：记录每个检测事件的时间、IP地址、协议类型、数据包大小等信息，生成检测日志，便于日后分析。
• 模型反馈和改进：
  • 通过分析检测日志和系统的报警记录，可以不断改进模型的准确性和鲁棒性。
  • 随着新类型攻击的出现，定期重新训练模型，以提升其适应性。

6.5 测试部署效果

• 正常流量测试：使用ping命令生成正常流量，确保系统不会误判正常流量为攻击。
• 攻击流量测试：使用hping3生成高频攻击流量，测试模型的检测性能和报警响应速度。
• 结果评估：根据实时日志和报警记录，评估模型在实际环境中的检测准确率和响应效果，确保系统能够快速、准确地检测并应对DDoS攻击。

完成以上步骤后，整个SDN中的DDoS检测系统部署完成。此系统能够在实时环境中检测并阻断恶意流量，从而保障SDN网络的安全性和稳定性。

第七步：结果分析与总结

在完成系统部署后，对检测系统的性能和效果进行分析和总结，以确定DDoS检测的有效性和进一步优化的方向。

7.1 实验结果记录与分析

• 日志文件分析：通过分析系统生成的日志文件，观察模型在实际环境中的检测表现。特别关注以下几项指标：
  • 准确率：正常流量和攻击流量的分类准确性。
  • 误报率和漏报率：检查模型对攻击流量的误报（将正常流量误判为攻击）和漏报（未检测到的攻击流量）。
  • 检测延迟：系统在检测到攻击流量后触发报警或阻断流量的时间延迟。
• 模型评估：根据实验结果，对不同模型（如KNN、SVM、随机森林等）在实际环境中的表现进行比较，进一步验证实验过程中选择的最佳模型是否适合实际应用。

7.2 成功案例与检测效果

• 成功检测的案例：展示系统成功检测到的DDoS攻击案例，包括攻击类型、源IP、攻击流量特征等。这些案例能够体现系统在实际网络环境中检测DDoS攻击的能力。
• 攻击缓解效果：记录系统在检测到攻击后的缓解效果，例如阻断攻击流量的速率变化、正常流量的恢复情况等。

7.3 系统优化建议

• 模型优化：
  • 在日志分析中发现模型的误报或漏报时，可进一步优化模型特征选择或阈值设置，以提升检测的准确性。
  • 针对新类型的攻击流量，可以通过收集新的攻击数据并重新训练模型来提升模型的适应性和识别能力。
• 网络拓扑优化：对于复杂的SDN网络拓扑，可以在关键节点部署多个控制器或扩展流表容量，以提高系统的容错能力和扩展性。
• 自动化响应机制：增强检测系统的自动化程度，例如通过自适应调整流表规则来自动响应不同类型的攻击流量，减少人为干预。

7.4 总结

• 项目成就：本实验成功构建并部署了一个基于机器学习的DDoS攻击检测系统，实现了在SDN网络中实时检测并阻断恶意流量的目标。
• 模型表现总结：最终选择的随机森林模型在DDoS检测中的准确率最高，检测效果理想，系统能够快速、准确地识别并应对网络中的异常流量。
• 研究价值：此系统为基于SDN的DDoS检测提供了一个可行方案，同时通过机器学习模型的引入增强了系统的智能化和自动化程度，为SDN安全防护提供了参考。

实验完成后，可以继续优化系统，扩大实验范围，进一步验证模型的实用性与稳定性，同时可以探索新的机器学习或深度学习方法，以应对不断发展的网络攻击方式。

第八步：未来工作与改进方向

在本实验中，我们实现了基于SDN的DDoS检测系统，并取得了良好的实验效果。然而，网络攻击手段和DDoS攻击类型不断演变，系统也需要定期升级和优化。以下是系统未来工作和改进方向的建议。

8.1 增强模型的鲁棒性和适应性

• 模型重新训练：随着新的攻击模式和数据的出现，需要定期更新训练数据集并重新训练模型，以确保模型能够识别新的攻击类型并适应流量特征的变化。
• 集成多种模型：引入集成学习方法，将多个模型（如随机森林、深度学习模型等）组合成一个集成模型，以增强对不同攻击类型的检测能力。模型集成可以通过投票、加权平均等方法来综合各模型的预测结果，提升检测准确率。

8.2 深度学习和先进算法的应用

• 深度学习模型：考虑使用卷积神经网络（CNN）和循环神经网络（RNN）等深度学习方法，尤其适用于处理复杂的网络流量数据。深度学习模型能够自动学习数据特征，避免手动特征工程的限制，进一步提升检测效果。
• 自适应学习算法：探索应用在线学习和迁移学习，使模型在运行过程中能够实时学习新的数据，从而更好地适应环境变化和新型攻击方式。

8.3 扩展实验规模和网络拓扑

• 大规模网络实验：在更大规模的SDN网络中部署检测系统，测试其在高流量、大规模网络环境下的性能，分析系统的处理能力和扩展性。
• 多控制器支持：为了提高系统的容错能力，可以探索多控制器架构的设计。通过协调多个SDN控制器分布式部署来应对DDoS攻击，有效避免单点失效。

8.4 增强自动化响应机制

• 自适应防护策略：为检测系统增加自动化响应能力，如根据攻击类型动态调整流表规则或触发流量限制机制，实现更灵活的网络防护。
• 攻击溯源：在检测到DDoS攻击后，进一步分析攻击流量来源，尝试溯源攻击主机或僵尸网络，帮助制定更有效的防护策略。

8.5 数据隐私与安全

• 加密传输：确保SDN控制器与交换机之间的通信加密，防止中间人攻击（MITM）或流量劫持。
• 数据访问控制：设计权限控制和认证机制，确保只有授权用户可以访问控制器和检测系统，防止未经授权的更改或信息泄露。

总结与展望

通过本实验，我们成功设计并实现了一个基于SDN的DDoS攻击检测系统，在模拟环境中验证了其有效性和稳定性。未来，随着SDN技术和机器学习算法的发展，系统可以进一步提升实时响应能力和攻击检测的准确性。这一研究具有广泛的应用前景，有助于提升网络安全防护水平，并为网络安全防护体系的发展提供更多创新思路。

通过进一步改进和扩展，本系统可在企业网络、数据中心和云服务环境中实现更加智能的安全防护。

小结

简单复现了一个github项目