天池离线赛 - 移动推荐算法(三):特征构建

时间:2022-12-07 14:40:45

移动推荐算法是阿里天池赛2015年赛题之一,题目以移动电商平台的真实用户-商品行为数据为基础来构建商品推荐模型。该题现已成为新人入门的经典演练对象,博主也希望基于该题场景,加深对机器学习相关知识的理解,积累实践经验。关于题目回顾与数据初探,可参考:天池离线赛 - 移动推荐算法(一):题目与数据解析,本文讨论如何进行特征构建,为之后基于模型的方法实现提供支持。

特征工程回顾

特征工程是机器学习方法在工业界得到有效应用的基础。业界普遍的认为:数据和特征决定了学习的上限,而模型和算法只是在逼近这个上限。所以,做好特征工程,是高效实现机器学习和数据挖掘任务的基础。关于特征工程的详细内容,可参考:特征工程到底是什么? - 知乎

特这构建与选取是特征工程的重要内容,包括:

  • 结合业务对象和数据可用性确定所需特征(包括特征的定义、数值特性、特征组合衍生…);
  • 基于原始数据构建特征数据并作基本预处理(SQL、数据清洗…);
  • 针对不同模型进行特征预处理,包括采样、单个特征预处理(归一化、离散化、缺值处理…)、多个特征的处理(PCA、LDA、Clustering、卡方检验、相关系数、正则化…);
  • 在模型训练中分析选取特征(有效性、重要性);
  • 。。。

特征构建

预研思路

首先给出特征构建时的一些思路:

  1. 由于用户行为对购买的影响随时间减弱,根据分析,用户在一周之前的行为对考察日是否购买的影响已经很小,故而只考虑距考察日一周以内的特征数据。

  2. 由于数据来源于垂直电商,其特点是线上购买线下消费,猜测其购买行为具有一定的周期性,进一步猜测行为周期为一个星期。待预测目标考察日为 12.19 ,是星期五,所以分割出11.18~12.18数据中的四段以星期五为考察日,一周为考察期的数据,一共有4组,其中一组涉及双十二异常期,故而省区,还剩下三组数据如下:

    part 1 - train: 11.22~11.27 -> 11.28;
    part 2 - train: 11.29~12.04 -> 12.05;
    part 3 - pred: 12.13~12.18 (-> 12.19);

    其中 part 1 和 part 2 可作为模型训练和验证数据集,part 3 为测试数据集;

  3. 针对当前业务背景,考虑从user、item、item_category三大基本维度及其组合入手进行特征构建,简称U、I、C。

  4. 由于问题已被明确为 U-I 是否发生购买行为(标记label取{0,1])的分类问题,最终的特征数据均要合并到生成以 U-I 为index(key)的样本集上来。进一步地,如要考虑所有可能的 U-I ,必将面临组合爆炸的问题,所以这里只关注在距考察日一周以内出现过的 U-I 。

特征构建

这里将所需构建的特征分为六大类:U、I、C、UI、UC、IC,对每类分别结合行为次数、时间、排序等视角设计特征。考虑到样本规模,特征数量不宜太少,这里我们设计了约100个特征来进行第一季的数据任务,具体的特征选择及定义见下表:

特征名称 所属类别 特征含义 特征作用 特征数量
u_b_count_in_n(n=1/3/6) U 用户在考察日前n天的行为总数计数 反映了user_id的活跃度(不同时间粒度:最近1天/3天/6天) 3
u_bi_count_in_n(i=1/2/3/4,n=1/3/6) U 用户在考察日前n天的各项行为计数 反映了user_id的活跃度(不同时间粒度),反映了user_id的各项操作的活跃度,折射出user_id的购买习惯 12
u_b4_rate U 用户的点击购买转化率 反映了用户的购买决策操作习惯 1
u_b4_diff_hours U 用户的点击购买平均时差 反映了用户的购买决策时间习惯 1
i_u_count_in_n I 商品在考察日前n天的用户总数计数 反映了item_id的热度(用户覆盖性) 3
i_b_count_in_n I 商品在考察日前n天的行为总数计数 反映了item_id的热度(用户停留性) 3
i_bi_count_in_n I 商品在考察日前n天的各项行为计数 反映了item_id的热度(用户操作吸引),折射出item_id产生的购买习惯特点 12
i_b4_rate I 商品的点击购买转化率 反映了商品的购买决策操作特点 1
i_b4_diff_hours I 商品的点击购买平均时差 反映了商品的购买决策时间特点 1
c_u_count_in_n C 类别在考察日前n天的用户总数计数 反映了item_category的热度(用户覆盖性) 3
c_b_count_in_n C 类别在考察日前n天的行为总数计数 反映了item_category的热度(用户停留性) 3
c_bi_count_in_n C 类别在考察日前n天的各项行为计数 反映了item_category的热度(用户操作吸引),包含着item_category产生的购买习惯特点 12
c_b4_rate C 类别的点击购买转化率 反映了item_category的购买决策操作特点 1
c_b4_diff_hours C 类别的点击购买平均时差 反映了item_category的购买决策时间特点 1
ic_u_rank_in_c IC 商品在所属类别中的用户人数排序 反映了item_id在item_category中的热度排名(用户覆盖性) 1
ic_b_rank_in_c IC 商品在所属类别中的行为总数排序 反映了item_id在item_category中的热度排名(用户停留性) 1
ic_b4_rank_in_c IC 商品在所属类别中的销量排序 反映了item_id在item_category中的热度排名(销量) 1
ui_b_count_in_n UI 用户-商品对在考察日前n天的行为总数计数 反映了user_id - item_id的活跃度 3
ui_bi_count_in_n UI 用户-商品对在考察日前n天的各项行为计数 反映了user_id - item_id的活跃度,反映了user_id - item_id的各项操作的活跃度,对应着user_id - item_id的购买习惯 12
ui_bi_last_hours UI 用户-商品对各项行为上一次发生距考察日的时差 反映了user_id - item_id的活跃时间特征 4
ui_b_count_rank_in_n_in_u UI 用户商品对的行为在用户所有商品中的排序 反映了user_id对item_id的行为偏好 3
ui_b_count_rank_in_n_in_uc UI-UC 用户-商品对的行为在用户-类别对中的排序 反映了user_id对item_category中的各个item_id的行为偏好 3
uc_b_count_in_n UC 用户-类别对在考察日前n天的行为总数计数 反映了user_id - item_category的活跃度 3
uc_bi_count_in_n UC 用户-类别对在考察日前n天的各项行为计数 反映了user_id -item_category的活跃度,反映了user_id -item_category的各项操作的活跃度,对应着user_id -item_category的购买习惯 12
uc_bi_last_hours UC 用户-类别对各项行为上一次发生距考察日的时差 反映了user_id -item_category的活跃时间特征 4
uc_b_count_rank_in_n_in_u UC 用户-类别对的行为在用户所有商品中的排序 反映了user_id对item_category的行为偏好 3

通过sql或python-pandas可以简洁的完成这些特征的提取。

参考程序:python-pandas特征提取

这些特征数值尺度不一,所以在使用尺度敏感模型前需要进行归一化处理;有些特征是离散型(如排序特征),有的特征存在缺值(如时间差特征),这些都要根据具体的模型来进行预处理。

样本格式

在进行了特征构建之后,我们通过合并各大类特征数据(U、I、C、UI、UC、IC)得出训练和预测所需的数据,数据样本格式如下:

# 索引 特征 标签
一行样本数据 user_id, item_id 约100个特征数据 分类结果(0-未购买,1-购买)

在得出样本集之后,就可以进行模型的训练和预测了。

(p.s.生成的数据量规模达到10G级别,考虑到单机计算存储资源受限,在示例程序大量使用了分块操作,另外也可考虑基于HDFS+MR来实现)。