Alibaba Innovative Research (AIR) > Big Data & Data Mining
基于生成对抗式(GAN)样本增广的广告创意优选

业务背景

广告创意是广告的信息承载和外在表现形式,包括图片、文案、视频以及直播等。实验表明,创意对广告投放效果有直接影响,且不同用户对创意偏好不同,存在可观的优选空间。

 阿里妈妈创意优选算法平台旨在学习用户对于广告创意的偏好,为用户挖掘及呈现最具吸引力的广告创意内容(如图1所示,图中展示了对图片的优选)。经过一年多迭代,该优选系统已具备用户个性化、视觉内容特征引入、冷启动探索等关键能力,现已接入信息流超级推荐、钻展、外投等阿里妈妈多个重点展示广告位,有效地提升各场景的点击率等核心指标。

 

                                                    图1 个性化创意优选算法流程图

 然而目前,该系统还面临两个问题:

1. 样本数据稀疏问题 - 与商品优选预估CTR的“点估计”不同,创意优选更倾向于在给定商品后,对该商品的所有候选创意进行关于吸引力的“序关系”预测(即pairwise 或者listwise 估计)。但在真实场景中,展示给用户的往往是商品的其中一张创意,难以收集该用户对商品下所有或者部分候选创意的偏好排序,样本标签的缺失对于创意优选而言是一项极大的挑战 

2. 冷启动带来的用户描述缺乏问题 - 这里的启动问题是指新创意没有出现在用户的行为描述里,因此很难得到合适的曝光机会。相比商品,创意更新更快,因而启动问题更加严重。

 为解决上述问题,受深度学习的数据处理启发,数据增广成为可行的技术手段。那么如何进行有效增广呢?近几年的前沿研究中,基于生成对抗网络(GAN)的方法在推荐领域受到了越来越多的关注,尤其是针对数据稀疏的问题[1]。例如IRGAN[2],CFGAN[3], AugCF[4]等都取得了较为可观的结果。

因此,合理利用生成对抗方法完成数据增广,包括创意偏好数据和用户行为数据,解决目前创意优选面临的数据稀疏与启动问题,是这次AIR项目需要解决的。

 

参考文献:

[1] Gao, M., Zhang, J., Yu, J., Li, J., Wen, J., & Xiong, Q. (2020). Recommender Systems Based on Generative Adversarial Networks: A Problem-Driven Perspective. arXiv preprint arXiv:2003.02474.

[2] Wang, J., Yu, L., Zhang, W., Gong, Y., Xu, Y., Wang, B., ... & Zhang, D. (2017, August). Irgan: A minimax game for unifying generative and discriminative information retrieval models. In Proceedings of the 40th International ACM SIGIR conference on Research and Development in Information Retrieval (pp. 515-524).

[3] Chae, D. K., Kang, J. S., Kim, S. W., & Lee, J. T. (2018, October). Cfgan: A generic collaborative filtering framework based on generative adversarial networks. In Proceedings of the 27th ACM international conference on information and knowledge management (pp. 137-146).

[4] Wang, Q., Yin, H., Wang, H., Nguyen, Q. V. H., Huang, Z., & Cui, L. (2019, July). Enhancing collaborative filtering with generative augmentation. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 548-556).

拟解决问题

如前所述,本次AIR项目的中心目标为:借助生成对抗网络学习数据分布的能力,为创意优选提供有效数据增广,以克服真实场景下样本缺失(数据稀疏)以及冷启动带来的负向影响,从而进一步提升平台技术能力以及业务效果。

虽然生成对抗网络[9]在视觉领域 (例如人脸生成[10]) 已取得了较成熟的研究和应用,但在推荐领域的应用还需要更多的探索力量。特别是在创意优选这样不成熟却有潜力的场景,亟待学术界的外力推动,共同探索解决。具体而言需要解决下面技术问题:

1. 基于生成对抗网络的样本标签增广

如“业务背景”提到,创意优选强调“序关系”学习,需要正负样本对(例如用户-正向创意-负向创意对应的三元组),但真实场景通常同一用户同一商品只有一次曝光机会,很难拿到这样的样本对(例如只有用户-正向创意、用户-负向创意二元组),因此需要借助对抗技术产出这样的样本对。

虽然我们可以仿照信息检索/商品推荐已有的对抗学习框架(如IRGAN[1] /AdvIR[2] /ABinCF[3]),构造出类似图2的框架,但这样直接的模型结构迁移面临诸多技术问题。例如基于用户反馈的真实样本的噪声问题、极端稀疏的真实样本难以刻画真实分布造成生成样本的合理性的问题。总之,需要在创意优选具体问题中进一步探索。

 2. 基于生成对抗网络的用户交互行为增广

如“业务背景”提到,新创意由于用户行为中缺乏这部分创意,难以被模型选到,即冷启动问题。因此需要通过生成对抗网络扩充用户对于新创意的启动行为描述。

我们同样可以仿照一些学术界提出的交互行为生成系统,如AugCF[4]/KTGAN [5]/RSGAN [6]。但具体如何设计模型与并应用到现有场景中,仍然是一个开放的有挑战性的问题。

 3. 对抗网络中的跨媒体创意内容特征表达

上述两种生成对抗网络需要以商品/用户特征为输入从而产生更多用户对创意的交互数据。其中用户的行为特征、商品信息以及产生的创意表达都涉及对于创意内容/样式的描述。且随着创意形式的丰富,涵盖跨媒体的多种呈现方式(图片/视频/直播)会对ID+内容表达提出更高要求。

而现有推荐系统中对抗网络的工作(如IRGAN[1])更多关注ID embedding 方式表达,对于如何嵌入跨媒体的创意内容表达还有很多值得探索的的点。

 

附注:以下为一种可能的用户-创意样本生成框架,供此次项目参考:

 

                                     图2 一种可能的用户-创意样本生成框架

 

参考文献:

[1] Wang, J., Yu, L., Zhang, W., Gong, Y., Xu, Y., Wang, B., ... & Zhang, D. (2017, August). Irgan: A minimax game for unifying generative and discriminative information retrieval models. In Proceedings of the 40th International ACM SIGIR conference on Research and Development in Information Retrieval (pp. 515-524).

[2] Park, D. H., & Chang, Y. (2019, May). Adversarial sampling and training for semi-supervised information retrieval. In The World Wide Web Conference (pp. 1443-1453).

[3] Wang, H., Shao, N., & Lian, D. (2019, July). Adversarial binary collaborative filtering for implicit feedback. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 33, pp. 5248-5255).

[4] Wang, Q., Yin, H., Wang, H., Nguyen, Q. V. H., Huang, Z., & Cui, L. (2019, July). Enhancing collaborative filtering with generative augmentation. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 548-556).

[5] Yang, D., Guo, Z., Wang, Z., Jiang, J., Xiao, Y., & Wang, W. (2018, November). A knowledge-enhanced deep recommendation framework incorporating GAN-based models. In 2018 IEEE International Conference on Data Mining (ICDM) (pp. 1368-1373). IEEE.

[6] Yu, J., Gao, M., Yin, H., Li, J., Gao, C., & Wang, Q. (2019, November). Generating reliable friends via adversarial training to improve social recommendation. In 2019 IEEE International Conference on Data Mining (ICDM) (pp. 768-777). IEEE.

[7] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097-1105).

[8] He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).

[9] Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. In Advances in neural information processing systems (pp. 2672-2680).

[10] Antipov, G., Baccouche, M., & Dugelay, J. L. (2017, September). Face aging with conditional generative adversarial networks. In 2017 IEEE international conference on image processing (ICIP) (pp. 2089-2093). IEEE.

[11] Gao, M., Zhang, J., Yu, J., Li, J., Wen, J., & Xiong, Q. (2020). Recommender Systems Based on Generative Adversarial Networks: A Problem-Driven Perspective. arXiv preprint arXiv:2003.02474.

[12] Chae, D. K., Kang, J. S., Kim, S. W., & Lee, J. T. (2018, October). Cfgan: A generic collaborative filtering framework based on generative adversarial networks. In Proceedings of the 27th ACM international conference on information and knowledge management (pp. 137-146).

期望交付物

预期交付一套“基于GAN样本增广的创意优选算法”,该算法以现有用户-单创意交互数据为基础,有效生成用户-多创意偏好以及用户-新创意等交互数据,用以克服现有系统中数据稀疏以及创意冷启动等问题,提高优选模型的排序准确性以及泛化能力。该系统在阿里妈妈创意优选算法平台落地,获得相应业务收益(见“预期合作收益”)。

 同时产出高质量(CCF A)学术论文1-2篇。

Scan QR code
关注Ali TechnologyWechat Account