信息流推荐的用户增长机制

原创天师 DataFunTalk

分享嘉宾：天师阿里巴巴高级算法专家

编辑整理：王洪达

出品平台：DataFunTalk

导读：本文主要从偏向底层的推荐算法角度来阐述信息流推荐系统升级如何助力用户增长。我们知道，内容信息流实际上已经算是信息流中比较小的概念，其中包含图文信息流、短视频信息流和内容+电商信息流，而对于用户来讲实际上是一个消费时间的产品体验，从而对内容生态产生很大的助力 ( 包括PGC、UGC的短内容生态 )，这就是本文主要的问题——内容信息流。本文旨在解决的问题是：基于推荐算法视角，来解决信息流产品用户增长的问题。其中，主要问题就是如何提升留存率。

关于用户增长

做过推荐系统方面工作的同学应该清楚的知道，推荐工程里面主要包含推荐算法和搜索算法。而我们往往关注的是Stoptime这样的指标，使用有监督的模型来解决一系列问题，例如点击率、单次时长等。对于留存问题和大盘规模问题在机制上，有很大的不足，比如：推荐新的篇章，从用户方面和生态方面都存在着双边的幸存者偏差问题。

1. 问题分析

首先看下大的背景，目前是移动互联网进入下半场的大趋势，过去粗放式的买量、厂商合作等模式越来越受到掣肘，未来将更加依赖精细化的用户增长策略、产品和用户体验的细致打磨。经典的AARRR模式会逐步转向RARRA模式，提升产品留存、拉活、分享传播等方式是构建增长的主要战场，对于一个内容型产品来说，个性化算法对于用户留存、拉活起到了决定性的作用。

在信息流产品增长上，有三种比较成功的模式：

头部内容模式：一种比较"重"的模式，该类产品利用精准的内容采买，引入优质的头部内容创作者，利用头部内容的流量聚焦效应，迅速圈定大批用户，并形成内容APP特有的用户心智；但是由于内容头部化，个性化算法在其中发挥的空间和作用较小，产品模式趋于同质化。
下沉/激励模式：该类产品参考了网络游戏模式，从各个环节设计用户里程碑和激励，不断引导新用户一步步完成点击、下刷、完整阅读、分享、关注等目标里程碑，并给予虚拟货币和真实货币的激励，在短时间内可以获取大量下沉用户。‍‍‍‍‍‍‍‍‍‍‍
生态构建模式：该类产品构建了完善的内容生产和消费生态，旨在通过推荐系统同时刺激生产和消费，实现两端的同时增长。

因此，个性化的核心问题主要分为两个：

用户状态建模：深度建模用户状态和行为，通过对于大数据集中分析，找到使用户从低阶状态到高阶状态转化的干预因子。也就是如何把新用户转化成低阶用户，然后从低阶用户转化到高阶用户，用户流失后如何召回，类似这样的用户状态转化。
个性化分发的升级：将用户行为建模后，在多个场景下将这些干预动作转化为个性化推荐和营销，满足用户的消费需求。

2. 增长要素

什么样的内容会让用户觉得好？我们来看看用户增长的要素：

优质内容/时效性：内容的更新频率以及内容的质量是用户增长的关键。
个性化体验：千人千面，推荐的内容符合当下的需求。
多渠道获客：多渠道获客的能力也是增长的一个关键因素。
CPC vs LTV：维持CPC ( 按点击收费 ) 和LTV ( 用户对系统的长期价值 ) 的一个平衡。

算法如何助力增长呢？主要有以下几点：

精细化买量/外投；
提升留存；
衡量推荐这样Action的效用；
消除幸存者偏差。

关于推荐算法

推荐系统在国内大概已经有十多年的应用，模型架构和算法都有很大的升级。

1. 推荐系统回顾

首先回顾下推荐系统：

劣质系统：只会推荐一些低俗 ( 只满足低层次需求 )、兴趣受窄、搬运内容 ( 无稀缺性 )、陈旧内容的信息。
良性系统：区别于劣质系统，在各个环节都会不断增加信息量 ( 多样性 )，不同层次的用户引入 ( 用户多样性 )，各类高质量内容的引入 ( 内容多样性 )，内容更具时效性 ( 提升媒体属性 )，探索出用户中长尾兴趣：当头部内容过期时从而更合理的承接。
问题在哪儿？主要存在以下问题：统计机器学习模型存在缺陷；长期的指标观测体系匮乏以及业务短视；缺乏合理的机制设计和产品视角。

2. 信息流推荐的增长目标

用户满意度的衡量：

衡量用户满意度的指标有很多，但主要集中在三大方面：内容相关性、内容质量和内容时效性，时效性一定程度上代表内容的稀缺性。
ctr代表什么：一定需要ctr吗？对内容无认知的用户需要衡量用户对列表页素材的满意度，对内容有认知的用户还需要衡量用户对内容本身的满意度。
用户对内容真正的认可是通过点赞、分享、评论这种互动的方式来表现的，目前很多产品注重对互动的引导。

信息流推荐的增长目标，主要包括：

提升用户留存、LTV
通过分发筛选出优质内容、优质生产者：在传统的认知中，喜欢什么就给什么；但是更新后的认知是创造需求和玩法，持续优质内容生产
构建内容生态：提高分发时效性；增加对upgc主的激励 ( 曝光、点击、粉丝、分成 )；通过准入、扶持打压、激励这种机制维持一个好的生态和增长。只有通过用户和生态两端的同时增长，才能让产品得到一个飞轮效应，良性发展

核心增长机制

1. 双边冷启动与流转机制

① 概述

在管理上也有这样的一种思想，就是新人做老事、老人做新事，促进事情稳定向前推进，这就是流转机制设计的主要思想。因此，如何对新用户和新内容做双边冷启动就成了核心的问题。从算法来看，这是两个不太相同的问题，但从整体设计思想来讲，两者又比较相近。新内容通过相关性分析可以达到探索、分发、推广的效果。进而新用户如何探索他的兴趣？比如推荐股票，一定会先推荐近期走势最好的股票；推荐科幻片，大概也是这样，推荐评分最高的，这样就可以实现新用户规模本身的增长。对于新内容来讲，通过老用户面对热内容的探索分析，也可以逐步推进内容生态的增长，其实这并不完全是算法的问题，这同样是贯穿从内容运营到产品设计整个体系的一个哲学思想。

对于新和旧的定义是通过置信度对应到多峰兴趣级别，同时对应到topic兴趣的级别；对于新和老的准确定义应该是经过某些流量的分发验证，而不是简单通过来的早晚；新内容冷启机制也叫爬坡机制。

这里面带来的技术问题包含：

基于表征学习的排序技术，难以表达置信度；神经网络技术很难表达最重要的概念。
新内容冷启动技术选型业内有很多的方案：随机保量 ( 短期降效、对生态fairness问题相对友好、构建宝贵的无偏数据集，消偏应用 ) +Bandit类算法 ( 短程收敛性有一定劣势 ) +uncertainty预估 ( 个人推荐 )
新用户冷启动的技术选型和新内容还是有很大差别的，其主要是通过强化学习、联邦学习这种人工智能的方式进行分析，而通过统计学，很难分析出人的偏好。

② 详细实现

双边冷启动与流转机制的实现，主要包括：

a. 早期以显式标签+统计连续值为主的推荐系统

Rank = pRelevance(topic | user)^ cu * pCTR( item | topic)^ ci 一方面用主题到用户的相关性，另一方面用item到主题的统计值或者模型的估分，这里面会有两个置信的概念，一个是用户兴趣的置信度，一个是item本身的置信度；
新item冷启探索：ci低会提高cu，侧重主题到用户的相关性值以及预估稳定性；
新用户冷启/兴趣探索：cu低会提高ci，侧重item到主题的统计值以及预估稳定性；
纯利用：对于老人做老事，ci高，cu也高，推荐的短期效率指标是最高的，但是长期来看，如果只注重这种推荐的短期效率指标，不对新用户和新内容进行探索，那长期就很难发展下去。

b. 以表征学习为主的推荐系统，这块主要是思考如何做成Risk-aware recommendation，目前构建排序模型uncertainty的一种方式如下：

c. 超参学习/调控的目标→系统全局E&E

3. 消偏与因果推断：背景介绍

对于幸存者偏差问题，我们是通过因果推断的方式解决的。推荐系统其实是一个因果推断的问题，通过用户是什么样的人，从而推测用户会喜欢什么样的item；对于推荐的causal effect，用户会不会喜欢？效用有多大？会不会成为高价值客户？如果推荐后，用户会有hot moment，我们可以判定，推荐效果是好的。

为什么会存在幸存者偏差呢？

推荐模型本身的样本就是有偏的，user和item偏同时存在，比如用户没看喜欢的部分没有参与到模型训练中。
对应到item，就是selection-bias和fairness问题。比较典型的案例是youtube net，user embedding average pooling本质上，依然是item-embased，后续诸多改进没有本质的解决消偏问题。这样就会导致后续推的东西比较类似，如果第一次推的好就会留下用户，推得不好用户就会很快流失。

4. 消除幸存者偏差：Casual Inference推荐框架

假设：

在因果推断的推荐框架中，假设用户变成低活、沉默的原因主要是用户对之前推荐的内容不满意。

方法：

构建反事实镜像人：利用无偏信息构建相似度量，构建低活user到高活user的匹配 ( Matching / Propensity Score / IPW，Causal Embedding )
去除低活、沉默用户的leavecause，推荐高活镜像人的stay causes

经过实践探索后发现，causal inference框架将成为用户增长方向的理论基石，对于消偏、效用衡量、归因和生态公平性问题都有解法；同时，causal inference也为经典推荐算法难题提供解法，如selection-bias、低活用户画像和推荐可解释性等问题。

5. 面向增长的用户画像

① 状态里程碑表示法

经典用户画像，主要要服务于运营的可解释性、推荐或广告系统的模型预估；通常建模成向量：高维离散、低维稠密以及多峰embedding。由于信息流产品具备连续型消费的特点 ( 同主题下的消费，upgc关注、直播 )，用户消费行为可以在连续的时间上进行切分，因此状态表示法是对向量表示法的有力补充，状态表示法主要包含活跃度、置信度，多峰兴趣的置信度、活跃度；这样将难度较大的"促留存"问题拆分为"目标达成"问题，通过策略不断使得用户完成高阶里程碑，将"促留存"的抓手聚焦在用户状态跃迁速度的提升上。

② 全生命周期因果推断