本发明涉及基于神经网络适用于加密流量的视频QoE指标预测方法，属于加密网络流量分类以及视频QoE预测技术领域。包括如下步骤：步骤1、抽取视频流中的上行数据包的往返时延信息并构建输入向量；步骤2、构建包含卷积层和全连接层的神经网络模型；步骤3将步骤1输构建的输入向量送入步骤2构建的神经网络模型中，抽取特征、执行全连接层并预测视频QoE指标；步骤4、使用神经网络模型估计视频QoE指标。所述视频QoE指标预测方法，对视频QoE指标进行细粒度预测，相对于原有的预测方法来说，预测粒度更细。