论文学习笔记(一)
目录
From Network Traffic Measurements to QoE for Internet Video
论文摘要总结：
第一部分总结
论文目标:
构建训练数据：
三个特征集：
相关工作：
该论文工作
受控实验：
本文创新点：
实验设置：
数据集：
网络QoS的特征
均匀采样缺点和主动学习
主动采样
研究方法
前提：
QoS空间
ML模型的评价
评估问题：
启动延迟估计
预测质量切换和停滞
MOS预测结果，
引用：
From Network Traffic Measurements to QoE for Internet Video
论文摘要总结：
提出了一种基于受控实验和机器学习的方法，仅使用网络级测量从加密视频轨迹中估计QoE。
沿着启动延迟、播出质量（空间分辨率）和质量变化的QoE度量来预测主观MOS（平均意见得分），并且这仅使用底层网络服务质量（QoS）特征。
视频播放的QoE与诸如初始加载时间的应用服务质量（QoS）特征直接相关（在文献中称为启动延迟或加入时间）、重新缓冲/停止事件的频率、播出质量（空间分辨率）及其变化。
第一部分总结
论文目标:
构建不仅能预测应用QoS指标，还能预测主观MOS（平均意见得分）的模型。
构建训练数据：
提出了一种用于网络仿真的采样方法，该方法考虑了在野外观察到的真实的测量统计，并且我们在网格计算环境中实现了我们的方法，以产生将网络QoS特征映射到视频QoE的大数据集。
三个特征集：
1）带外：网络特征在网络仿真器上配置的流量管道之外测量，包括带宽和RTT等特征，
2）带内：这些特征是从业务跟踪中获得的并且包括诸如吞吐量和分组到达间隔时间的特征，
3）带内特征集被利用我们开发和验证的聚类算法从业务轨迹直接推断的块大小来丰富。
相关工作：
该论文工作
涵盖QoE估计领域中的两个方面
1)研究了网络QoS和Internet视频流QoE之间的关系;
2）考虑了加密视频流业务。
1)将网络QoS度量映射到互联网视频的QoE：在文献中已经详细研究了网络QoS到QoE的关系，其中相关的网络和QoE特征主要从终端用户设备或网络提供商的中间设备获得。
受控实验：
一种在特定条件下，通过操纵一个或多个自变量来观察其对因变量影响的研究方法。这种方法的核心在于控制实验环境，以减少其他变量对结果的干扰，从而准确地建立变量之间的因果关系
本文创新点：
- 现有的工作不提供主观MOS的任何估计，相反，它们仅提供用于估计客观QoE度量的ML模型。另一方面，我们的工作演示了ML模型，不仅可以估计QoE指标，还可以根据ITU P.1203建议的主观MOS来估计QoE。
- 以前的工作主要集中在监督ML分类场景，而我们也提出了ML回归模型。此外，我们还提出了一种基于无监督ML的方法，直接从加密的流量跟踪中推断块大小（第IV-A节），并将其用作ML模型的特征，以显着提高ML准确性。
实验设置：
数据集：
使用Linux流量控制tc模拟的不同网络条件下播放YouTube视频，以构建将网络QoS映射到应用QoE的数据集。每个实验包括实施QoS和观察所播放视频的QoE。
网络QoS的特征
1）下行链路带宽，
2）上行链路带宽，
3）RTT（即双向延迟），
4）分组丢失率（均匀分布和双向），
5）用于对抖动进行建模的延迟的可变性（在tc上遵循均匀分布的延迟的标准偏差）。
均匀采样缺点和主动学习
可能最终在输出应用程序QoS指标最终非常相似的区域中进行实验。这将意味着我们浪费我们的资源去试验那些不会带来太多新信息的地区。从网络的角度来看，均匀采样也会导致实验在不现实的条件下进行。例如，如果使用的QoS特征是RTT和带宽，则在均匀采样的情况下，我们可能会试验高带宽和高延迟的场景。这是不现实的。
避免均匀采样问题的一种方法是使用主动学习，它允许在有用的空间区域进行实验，以较少的实验建立准确的模型。在这里，机器学习分类模型用于智能地选择用于实验的网络实例。
本方法基于真实的测量值的分布对空间进行采样，如在两个著名的移动的众包应用程序RTR-NetzTest [17]和PinterPerf [18]的公共数据集中观察到的。
主动采样
主动采样是一种数据收集方法，其中研究人员在实验阶段之前就预定义了一个特定的QoE分类标签（例如，视频流畅、音频清晰等）。这意味着数据收集过程是有目的性的，旨在偏向于满足这些预定义的分类模型。这种方法可能导致生成的数据集具有偏见，因为它们是为了适应特定的分类或回归场景而设计的。
研究方法
前提：
主动采样需要在实验阶段之前预定义单个输出QoE定义（分类标签），使得所得数据集偏向于给定的分类模型。如果我们使用主动采样，那么在我们的案例中，为了研究不同应用QoS度量的各种分类和回归场景，我们最终将为每个分类/回归场景提供不同的数据集。为了避免上述情况，并减少资源浪费问题的均匀采样，我们设计了一个新的采样框架，我们改变网络的QoS根据它是如何观察到在野外的真实的用户。
研究人员提出设计一个新的采样框架，其核心思想是根据网络QoS在实际野外环境中被真实用户观察到的方式来动态调整采样策略。这意味着新框架将更加灵活和自适应，能够实时响应网络条件和用户行为的变化，而不是依赖于预定义的分类标签或固定的采样策略。
QoS空间
通常指的是在网络环境中，通过实施QoS（Quality of Service，服务质量）技术来管理和优化网络资源的一组参数和设置。这些参数和设置旨在确保关键应用和服务能够在网络拥塞时获得优先处理，从而提高网络性能和用户体验
ML模型的评价
评估问题：
1）预测视频是否开始播放。2)如果视频开始播放，请估计启动延迟。3)预测视频播放是否顺畅或有停顿。4)预测是否存在任何质量开关。5)估计播放的平均分辨率。6)根据ITU MOS估算最终QoE。我们考虑了三组特征：Foutband、Finband和Finband+chunk来构建预测ML模型。
启动延迟估计
估计启动延迟为了估计启动延迟，我们需要首先对视频是否开始播放进行分类。如果启动延迟小于30秒，我们将视频分类为已启动，如果发生超时，则不启动。考虑到这个二进制分类问题，我们用我们的数据集训练了一个随机森林（RF）ML模型（使用python Scikit-Learn库[29]默认参数配置），并使用重复交叉验证来评估其准确性。在重复交叉验证中，数据集被随机分成训练集和验证集k次。然后用训练集训练该模型，并用验证集测试k次，以获得k个准确性分数。最终的准确度分数是这些k个分数的平均值。
预测质量切换和停滞
在本节中，我们将介绍用于检测质量切换和停滞的ML模型的结果。由于YouTube使用ABR，因此播放的视频的分辨率可能会根据网络条件而变化。为了检测这些质量变化，我们考虑二进制分类场景，其中输出标签0对应于以恒定质量播出的视频，而如果视频改变其质量至少一次，则标签为1。
MOS预测结果，
其中我们将MOS分成4类，然后训练RF分类器。当我们丰富功能集时，我们看到所有类的性能都有所提高。使用Finband+块，每个类的准确率范围从63%到90%，而每个类的召回率范围从60%到90%。总的来说，我们的平均F1分数为73%。注意，中间类2和3的准确度较低
引用：
M. J. Khokhar, T. Ehlinger and C. Barakat, "From Network Traffic Measurements to QoE for Internet Video," 2019 IFIP Networking Conference (IFIP Networking), Warsaw, Poland, 2019, pp. 1-9, doi: 10.23919/IFIPNetworking.2019.8816854.