探寻小米MIUI10超清画质体验背后的黑科技

近日，小米举办号称“史上最多重磅新品齐首发”的发布会。会上，包括小米8、MIUI10等在内的一系列重磅新品正式亮相。其中，有着“国产良心系统”之称的MIUI10尤其引人关注，作为小米此次发布会最先登场的新一代手机系统，MIUI10以“全面屏”为核心设计，针对全面屏操作进行了全方位支持和优化，同时全面应用AI，不但能够帮助用户轻松搞定复杂的操作，而且能够带给用户更好的高清画质体验。接下来，我们就一起探寻MIUI10背后的高清画质“神器”。

KIE：将图片变清晰的“神器”

这种将图片变清晰的“神器”，就是KIE（Kingsoft Image &AI Enhancement）。KIE是金山云近期推出的基于AI技术的画质增强产品，将其应用于移动终端或图片传输中，可为用户带来超清的图像视觉体验，或者节省3/4的图片传输带宽成本。

小米MIUI官网对于KIE的介绍

随着移动终端特别是手机分辨率的不断上升，更高分辨率图片的需求也与日俱增，这是因为低分辨率的图片，如果放到高分辨率的屏幕下，就会让视觉效果变得很差。如果720P的图片放在1080P的屏幕上，就会出现这样的问题。

高分辨率屏幕下显示低质量图片，会让视觉效果变差

而传统的解决方案——插值算法，包括双线性插值和临近插值，但这种方法往往会导致边缘出现锯齿、模糊等问题，将大幅降低图片的视觉效果。金山云KIE则基于人工智能技术，对图像重建使其高清放大，适配更高清的屏幕，同时对画面的马赛克、毛刺区域进行修复，提升图片视觉效果。

KIE的秘密武器：超分和修复

KIE是如何做到这些的呢？原来，它有两种秘密武器——KIE包含超分辨率（以下简称“超分”）和修复两种技术，在深度卷积神经网络上，KIE的超分模型构建了一个七层的网络，能够有效提升图片质量，解除图片超分时模糊、纹理不清晰等问题。深度卷积神经网络可依据图片重建细节，实现清晰度远超原图的效果。KIE在网络结构、模型训练上进行了大量的探索和尝试，实现了优秀的图像超分和去噪效果。

首先，在网络结构上，KIE采用了Mobile Net V2构造高效的网络模型。KIE结合残差学习思想，有效减少学习难度，采用跨层密集连接结构，利于梯度传播，使得深度网络在更短的时间内学习到更好的模型。采用金字塔结构，使得底层的特征和顶层的特征能够更有效融合。此外，在训练loss上，模型采用SSIM、图像内容损失等，让图片生成更加锐利的细节。

KIE采用金字塔结构，使得底层的特征和顶层的特征能够更有效结合

第二，在模型的训练上，KIE收集了30万张高清图片，确保内容丰富，采用多种方法模拟真实网络图片的生成过程，从而保证模型在推断时达到更好的效果，能够适应绝大部分网络图片，确保学习的全面性。同时进行数据混合，将不同大小倍数的图像混合在一起训练，从而支持不同倍数图片的高清化。

KIE的残差学习结构：加快训练速度并提高图像质量

针对在YUV三通道图像中，人眼对Y通道中最为敏感的特点，KIE针对Y通道和UV通道分别采用不同网络，其中Y通道复杂度高于UV通道的复杂度，在保证人眼质量的情况下，加快了训练和推断速度。

KIE针对微信、今日头条等主流网络图片聚集地进行调研，发现很多分辨率较小的图片，如果与目前主流的移动终端进行匹配，需要放大三倍，这意味着需要对图片的更多细节予以处理，因此难度更大。KIE以经过训练的3X网络对图片进行处理，经过卷积网络的学习和增强，最终提升了图片的质量。

KIE的应用场景

目前，KIE以SDK形式集成到各种应用场景中，包括各类手机厂商系统、超级APP应用、浏览器等。在同等主观质量下，KIE具有SDK体积小、推断速度快和内存占用少的特点，且能够适应多种平台。

在底层优化上，KIE采用模型压缩和量化技术，有效减少SDK的大小和推断速度。并且，采用金山云AI团队构建的高效的深度神经网络实现，在CPU上的推断速度达到了Google tensorlite的二到三倍，内存消耗也大大减少，为KIE的技术推广奠定了基础。

同时，KIE具有强大的跨平台特性，目前支持Android、iOS、PC平台和WEB端，接口简单快速接入。可在终端上实时处理，与解码器完全解耦，图片在移动终端上能够达到毫秒级响应，全面提升用户的浏览体验。

名词解释：

MobileNetV2：是对MobileNetV1的改进，是一个轻量化卷积神经网络。

SSIM：SSIM(structural similarity index)，结构相似性，是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出。SSIM使用的两张图像中，一张为未经压缩的无失真图像，另一张为失真后的图像。

Google tensorlite：即TensorFlow Lite，Google称Lite版本TensorFlow是TensorFlow Mobile的一个延伸版本。尽管是一个轻量级版本，依然是在智能手机和嵌入式设备上部署深度学习的一大动作。此前，通过TensorFlow Mobile API，TensorFlow已经支持手机上的模型嵌入式部署。TensorFlow Lite应该被视为TensorFlow Mobile的升级版。