近日,快手在其总部召开了快手人工智能沙龙会议,会上快手科技 AI 技术副总裁郑文与媒 体详细分享了快手在 AI 领域的进展,并就快手如何在产品中使用 AI 技术进行了深入交流。
快手由创始人兼 CEO 宿华于 2011 年成立,目前定位为短视频社区平台。据了解,目前快手 的日活用户数量达到了 1.3 亿,已总计产生了 70 亿条原创短视频内容。而从每天的使用情 况来看,快手用户会产生 1500 万条短视频内容,每天的使用时长也超过了 60 分钟,视频 的日均播放量达 150 亿次。
巨大的视频流量和用户数量,也从一方面决定了快手必须应用 AI 技术来进行平台运营和管 理。了解到,目前快手在技术方面有四个团队,分别负责前端引擎、特效设计、视频内容审 核、视频内容理解,总体来说快手技术人员的规模近几百人。
那么快手是如何利用 AI 技术对海量视频和 3 亿多的用户运营的呢?
一、 快手日常运营中的 AI 技术
在沟通会上,快手科技 AI 技术副总裁郑文向媒体详细地介绍了快手科技在 AI 技术上的布 局。据郑文介绍,由于快手的很大一部分用户使用的是中低端机型,而现在先进的 AI 技术 对设备的计算力要求极高。为了让普通用户体验到 AI 技术,快手对底层平台进行定制化开 发,也就是快手自研的 YCNN 深度学习推理引擎。这一引擎可以让快手 APP 上的 AI 技术 在大多数机型上都能高效运行,并针对不同机型、不同硬件进行了适配和优化。
郑文说,YCNN 深度学习推理引擎针对快手平台的特点,进行了针对性的模型构建,在快手 平台上运行与市面上普适的引擎相比快了 2~3 倍。
快手 APP 的日常运营包括视频生产、视频理解、用户理解、视频分发四个环节,据郑文介 绍,AI 技术已经应用于快手视频从生产到分发到每个环节。
1、利用 AI 给用户视频生成增加乐趣
首先在视频记录和生成上,快手运用了非常多的 AI 算法来让用户生成的视频更有趣。
其中,郑文重点提到了 8 个方面:
三维人脸技术:这项技术的应用主要包括两方面,一是对人脸进行三位重建,其中将会 调用手机硬件进行 3D 打光,对图片进行活化处理,以及实现对人脸进行变脸;二是利用这项 技术驱动表情,利用算法在用户拍摄视频时将人脸替换成 Animoji。
语义分割:这项技术在快手视频中的具体应用有两个,一是对人像进行分割,方便进行 后续的特效处理;二是对头发的分割,可以实现对头发的变色处理。
人体体态估计:这项技术可以实现对用户在视频中的肢体动作进行识别和定位。
手势识别和检测:这项技术主要用于识别用户视频中的各种手势,再配合快手推出的各 种虚拟动画,为视频增加更多玩法和乐趣。
AR 相机姿态估计:据了解这项技术是快手自研的,在苹果推出 AR Kit 之前快手就已经 开始应用了。这项技术将快手视频内的虚拟物体与用户真实场景进行融合。
智能视频编码:这项技术会分析视频的复杂度以及进行 ROI 分析(Region of Interest 的 缩写,直译为感兴趣区域),比如基于人脸进行 QP 调制(QuickPass,快速通关系统 )。
智能暗光增强:该技术可以对视频内容进行暗光检测,如果画面亮度过暗,该技术还将 对视频画面亮度进行增强。
图像质量检测:该技术可以进行迷糊检测和脏镜头检测,对视频清晰度低,或者镜头内 有块状瑕疵的视频内容,都可以进行检测,系统则会对用户进行信息提示。
2、利用 AI 对视频内容进行理解:
而在视频上传后,快手的 AI 技术还将要让机器学会看懂海量的视频内容。
在理解视频方面,快手的 AI 技术需要做两项工作:给视频贴标签和语音识别与合成。
视频贴标签包括识别物体和场景两个方面,物体方面则包括了人物和物体。在标签方面,快 手也建立了自己的标签树,从不同的维度对物体进行区分。
语音识别与合成方面,则包括了视频语音转文本和语音合成两个方面。
3、利用 AI 对用户进行理解
快手 APP 定位是构建一个面向普通大众的社区,目前日活用户数量达到了 1.3 亿,用户群非 常庞大。而从运营的角度来讲,为了为用户进行精准的推荐,快手需要利用 AI 对用户进行 理解,而理解的方式则是通过对视频内容和用户行为进行分析。
在理解用户方面,快手会对视频内容进行理解,并对用户行为进行分析,包括理解用户所处 的位置等。此外,快手还构建了用户理解向量,从用户兴趣、用户关系等不同维度理解用户。
4、利用 AI 实现视频和用户的精准匹配
在内容的匹配和分发上,快手也运用了不少的 AI 技术。据郑文介绍,快手有实时在线学习 推荐系统,可以将用户实时行为推向在线推荐引擎和日志系统两个方面。
在线推荐引擎包括了检索、线上模型预测和排序三大引擎。其中检索引擎,可以利用深度学 习技术视频作品和用户进行精准理解;线上模型预测引擎利用深度学习技术通过对特征的比 对,为用户进行视频推荐;排序引擎则用于快手社区内容多样性、内容风控和原创保护等方 面。
日志系统则会将用户的实时行为以秒级的速度及时更新到模型中,内容则用于对新增视频的 线下挖掘和模型的训练。
而就在 10 月 30 日,快手还宣布正式推出营销平台,宣布进行商业化加速。快手营销平台, 包括快手广告和快手商业开放平台两大部分,相关的产品包括:信息流广告、品牌标签页广 告、粉丝头条、快接单、快手小店、子母矩阵号、商业号等。
与此同时,快手也将自身定位是一家“AI+大数据+社交”的公司。在其营销系统中,快手特别 强调了 AI 大数据的应用。快手 CTO 陈定佳也表示,快手未来的广告和营销会更多地通过 AI 和大数据分析实现。
1、本站所有资源来源于用户上传和网络,版权争议与本站无关,版权归原创者所有,如有侵权请邮件联系我们!