浪潮NF5568M4支撑七牛高并发鉴黄服务

七牛云
网站：www.qiniu.com
组织规模：
行业：

　　网络直播的火热也伴随着隐忧，非法视频层出不穷让人力鉴黄无法满足直播平台的需求，基于人工智能的机器鉴黄逐渐成为最佳解决方案。浪潮为七牛提提供NF5568M4 GPU服务器，以超高并行计算能力，保证直播平台视频实时、精准鉴定。

　　2015年，网络直播突然间变得炙手可热，不仅催生出各类网红，更是形成了完整的直播经济。截至2016年6月，网络直播用户规模就已经达到3.25亿，而当时的网民的总体数量为7.1亿，也就是说45.8%的网民都在使用直播服务。据预测，直播行业市场规模将从2016年的150亿元增至2020年的600亿元，年复合增长率为41%，其中移动直播CAGR将高达84%！

　　火爆的直播业务催生出“机器鉴黄师”

　　但是伴随着直播的超高速发展，直播业务也出现了一些隐忧。2016年6月，9家网络直播平台的40名主播遭到封禁，而封禁的原因是：涉黄。而这只是冰山一角，更多的主播涉黄案例层出不穷。因此国家网信办发布《互联网直播服务管理规定》，其中明确了四个关键词：双资质、总编辑、先审后发、即时阻断，也就是说平台需要牌照，主播需要实名，并设置总编辑来进行总体负责。

　　《规定》中更重要是先审后发和即时阻断两项措施，这要求所有的直播平台对主播的视频内容进行提前审核，并且在直播过程中出现违禁行为时立即进行阻断。这两剂强心针对直播环境的优化起着立竿见影的效果，但是，这却让直播服务商们有些头疼，如何审核平台数以万计、数十万计的主播视频？如何鉴定性感、色情还是正常的画面？如何在发现色情画面时候进行快速的阻断？

　　

　　传统的解决方案是通过人力（鉴黄师）完成，所需要的人数会与主播成一个比例。通常都是几百人坐在屏幕前面持续对闪过的画面进行筛选，如果发现不符合规定就进行人工处理。一般来说每名鉴黄师平均每天审核处理的图片数只能在3万张左右，远远不能满足数百万的直播间的实时鉴定。既然机器的图片识别应用已经日益成熟，那么是不是也能够将这一技术应用到鉴黄，让机器都变身成为24小时不间断工作的“鉴黄师”？

　　浪潮NF5568M4成为七牛的全职“鉴黄师”

　　其实这种机器鉴黄早已应用，比如国内以技术闻名的云计算公司七牛在之前就推出了视频鉴黄的服务，为各直播平台提供服务。作为整体服务提供商，七牛面临的就不只是单一一个直播平台的用户，而是多个平台的直播间总和，鉴别总量和并发数量都有着成倍提升。那么七牛是如何高效地处理海量的鉴黄任务？答案是浪潮为七牛派驻的“鉴黄师”。

　　

　　浪潮向七牛派驻的“鉴黄师”是名为NF5568M4的GPU服务器。在鉴黄实战之前，首先要教会服务器什么样的图片是色情图片，这个任务需要成亿级的图片去“训练”它，过去用CPU看一张图大概需要0.8秒，那10万张图片看一遍需要一天的时间，1亿张图得看1000天。况且机器不是看一遍就可以学会的，需要不断的训练，假设看100遍，那么过亿的图片量，算起来得看上10万天才能学会，也就是需要273年。更经典的一个例子，google用1000台服务器、16000颗CPU、1000万张图片素材、用时3天，让服务器认识了猫，这是何等庞大的工程，如果每家直播服务商都需要投入如此庞大的IT设施，那么估计视频直播不可能如此火爆。

　　而现在的算法和硬件的提升使得机器计算的速度有了几何数量级的提升，利用GPU服务器去做非常复杂模型的处理和训练，往往只需要几天，甚至几个小时的时间就能完成。因此浪潮NF5568M4 GPU服务器才能够快速、顺利地“上岗”。浪潮NF5568M4采用Intel最新Haswell处理器与GPU加速计算技术的协同，CPU主要承担其更擅长的逻辑选择、判断跳转和IO通信方面的职责，而GPU则专职计算密集型、高度并行的计算工作，使得计算资源合理的分配，计算力被充分释放，计算性能达到从几倍到几十倍的增长。NF5568M4在4U空间内配备双路E5-2600v4 CPU和4块GPU卡，单机最高单精度浮点计算能力可达每秒40万亿次，承载海量的并发鉴黄任务。

　　在鉴黄任务模型训练完成后（也就是说服务器已经知道什么样的图片是色情图片），还需要对直播任务的实时监控画面进行高速的鉴别，也就是现场的推理任务。通常情况下，线上推理相比线下模型训练所需计算量较小，因此一般会采用更具性价比的协处理计算设备来承载，比如采用高性能的FPGA卡或者中低端的GPU服务器。此次，浪潮为七牛线上推理任务中，推荐采用了浪潮搭配Nvidia M40 GPU卡的NF5568M4，单精度浮点计算也将超过7TFlops，能够实时地进行推理识别涉黄图片和视频。

　

　　实测显示，对130万张图片进行9层模型训练时，4颗E5-2699V3处理器的2台服务器需3天（72小时）方完成训练，使用浪潮NF5568M4只需不到9.5个小时就可以完成全部工作，效率至少提升7.5倍。

　　目前，浪潮人工智能相关解决方案在国内主流AI领域的占有率超过80%，为百度、阿里巴巴、腾讯、奇虎、搜狗、科大讯飞、今日头条、Face++等领先企业提供基于GPU/FPGA/KNL等协处理加速服务器和caffe-MPI等软件、算法优化服务，加速中国人工智能应用的发展。