个性化推荐搜索技术走向转折点及其影响

个性化推荐/搜索技术走向转折点及其影响

图片来源：pixabay

消费互联网领域最核心的人工智能应用是个性化推荐和搜索。除了微信这样的社交平台，其他消费互联网典型平台Google / 百度、AWS / 阿里、头条、TME / 网易云音乐等都是实现了人和商品 / 网页 / 资讯 / 广告等之间的高效匹配，匹配引擎是所有平台的核心技术。这个匹配引擎主要是个性化推荐和搜索引擎，这俩其实是一样的，搜索可以视作一种受限的推荐，而个性化推荐和搜索大量运用的是机器学习的算法。

当前这个领域的技术正在走向一个关键的转折点，这个转折点是指这个领域的核心算法正在快速的从经典机器学习走向深度学习，且深度学习的模型应用不再是只针对低维特征、小规模的，而是囊括了高维特征、大规模的。业界其实早就有深度学习应用于个性化推荐或搜索的成功案例，如阿里在推荐中就成功的应用了Transformer模型，Airbnb的一篇论文影响了很多团队。今年我们研究院一直在推进深度学习在个性化推荐和搜索领域的落地应用，之前我们没有强推，业务方的算法经常是经过尝试说深度学习不灵，最好的也只是实现了小规模的应用，但今年杭研派出专业的团队，帮助考拉在凑单、主搜等核心场景成功落地了大规模的深度学习应用，近日在音乐核心推荐场景也有了初步正面的测试成果。这些进展更清楚的表面，个性化推荐和搜索技术正快速走向大规模应用深度学习的转折点。

这个转折点，无论对算法工程，还是算法团队的人才要求上，都将带来显著变化。

机器学习领域曾经的金科玉律是：数据和特征决定了机器学习的上限，模型和算法只是逼近这个上限而已。造成这一现象很大一部分原因是因为在前深度学习时代模型和算法不多，但特征工程的可挖掘空间很大。当时算法工程师手头能用的模型和算法，主要就 LR、SVM、GBDT、XGBoost等寥寥可数、相对固定的这些，这些模型对数据中的信息和知识的发现和挖掘能力有限。同时，特征工程没有很系统化的指导理论，有大量的奇技淫巧可以尝试，如离散、归一、滑动窗口、交叉、统计、平方、开方等等。只有想不到，没有做不到；要说有没用，只有天知道。这导致了深入理解业务，有多年特征工程经验的老师傅很牛。

但个性化推荐和搜索全面进入深度学习时代后，在新的环境下，特征工程的难度和重要性有所下降，而模型与算法的难度和重要性显著增加。特征工程的难度和重要性下降的原因在于深度模型具备一定的自动抽象出高层次特征的能力。同时，深度模型涌现的频率比以往高一个数量级。如果看过一些深度学习模型的结构图，就会发现这玩意就跟搭电路图似的，好像有无限可能。同时，一个深度模型调优的复杂度又比以往高一个数量级，这样算下来，要搞定一个好的模型和算法，难度增加了两个数量级。就算考虑AutoDL可以做的好，那也是增加了一个数量级吧。此消彼长，这就使得新时代下模型与算法的重要性盖过了特征工程。

当然任何时候，源数据都是基础。再牛逼的模型和算法也没法无中生有，任何时候有价值的信息最终都是来自于原始数据。源数据的重要性在任何时候都不会被取代。全面、实时、高质量的源数据，在任何时候都是非常重要的。

面对这样的趋势，需要准备好应对深度学习工程技术方面的挑战。从我们的实践来看，这是一个需要算法、深度学习框架（如我们用TensorFlow）、资源编排（我们用Kubernetes）、存储（我们用CephFS）等跨领域协作才能搞定的事情。我们的这样一个协作团队已经在我隔壁的会议室封闭式弄了两三个月了，目的就是为了将深度学习更大规模的应用于严选；我们同时也在与音乐的算法合作。

另一方面，这个转折对算法团队的人才要求变化很大。经典的机器学习算法相比深度学习还是好掌握的多的，技术能力要求不是特别高，对业务的理解要求很高。但后续对算法和算法工程团队在深度学习上的技术能力要求会变成首要要求，业务理解的要求相对就要弱一些了。

其实推荐搜索的技术需求变化是在这个领域发展到较成熟阶段自然会发生的。任何领域，在不成熟阶段，领域本身的经验和技术最重要；发展到成熟阶段，领域所依赖的核心技术也会成为关键。如国产汽车刚开始时用国外的发动机和变速箱就OK，电动汽车刚开始时拿成熟的供应链就可以“拼”出一辆在市场上立足；但成熟之后，如果不在依赖的核心领域（如传统车的发动机、变速箱，电动车的三电系统）有实力就势必被市场淘汰。一开始要做一层，看深一层；后面要做两层，再看深一层。