大数据实践（一）：对葡萄牙银行数据集做简单的观察与探索

实验

实验目标：对葡萄牙银行数据集做简单的观察与探索

完成时间：1小时（实验），0.5小时（实验报告）

实验要求：

1. 查看数据的基本情况。
2. 观察所有分类变量的取值情况，并且进行数据可视化
3. 观察所有数值变量的数值分布情况，并且进行数据可视化

项目背景

 

本项目背景是基于葡萄牙银行电话营销数据的基础上，通过数据分析和机器学习，优化营销策略，提高营销效率。通过数据分析了解客户的需求，通过机器学习，根据客户和当时的社会经济情况，预测用户是否可能购买储蓄产品。

• 这个数据集是关于一家葡萄牙银行机构从2008年5月到2010年11月的直接电话营销活动，旨在促进现有客户的定期存款。它在UCI机器学习库中公开，链接： http://archive.ics.uci.edu/ml/datasets/Bank+Marketing#. 这是真实的商业数据，总共4万多条记录，每一条有21个属性。主要的任务目标是分类预测，用户是否会接受营销。（如果会y列则是yes）
• 此数据集中有新旧两个数据集，本例采用了bank-additional-full.csv

 

变量介绍

银行客户信息:

• 1 - age： 年龄 (数字)
• 2 - job： 工作类型 。管理员（admin）,蓝领（blue-collar）,企业家（entrepreneur）,家庭主妇（housemaid）,管理者（\'management\'）,退休（\'retired\'）,个体经营（\'self-employed\'）,服务业（\'services\'）,学生（\'student\'）,技术人员（\'technician\'）,无业（\'unemployed\'）,未知（\'unknown\')
• 3 - marital : 婚姻状态，离婚（\'divorced\'）,结婚（\'married\'）,单身（\'single\'）,未知（\'unknown\'）。说明：离婚也包括寡居
• 4 - education： 教育情况 ： 基本4年(\'basic.4y\'), 基本6年（\'basic.6y\'）,基本九年（\'basic.9y\'）,高中（\'high.school\'）,文盲（\'illiterate\'）,专业课程（\'professional.course\'）,大学学位（\'university.degree\'）,未知（\'unknown\')
• 5 - default: 是否有信用违约? (\'no\',\'yes\',\'unknown\')
• 6 - housing: 是否有房贷 ( \'no\',\'yes\',\'unknown\')
• 7 - loan: 是否有个人贷款 (categorical: \'no\',\'yes\',\'unknown\')

  与联络相关信息:

• 8 - contact: 联系类型，手机（ \'cellular\'）,电话：\'telephone\'
• 9 - month: 年度最后一次联系的月份 (categorical: \'jan\', \'feb\', \'mar\', ..., \'nov\', \'dec\')
• 10 - day_of_week: 最后一次联系的星期 (categorical: \'mon\',\'tue\',\'wed\',\'thu\',\'fri\')
• 11 - duration: 上一次联系的通话时长（秒）. 重要提示：此属性高度影响输出目标（例如，如果持续时间=0，则y=\'no\'）。然而，在执行呼叫之前，持续时间还不知道。而且，在通话结束后，Y显然是已知的。因此，这个输入应该只包括在基准测试中，如果想要有一个实际的预测模型，就应该丢弃它。（预测时不知道会通话的时长）

  其他属性:

• 12 - campaign: 针对该客户，为了此次营销所发起联系的数量。（数字，包括最后一次联络）
• 13 - pdays: 上次营销到现在已经过了多少天。(数字，如果是999表示这个客户还没有联系过)
• 14 - previous: 在本次营销之前和客户联系过几次（数字）
• 15 - poutcome: 上一次营销活动的结果 ( \'failure\',\'nonexistent\',\'success\')

  社会和经济相关属性

• 16 - emp.var.rate: 就业变动率 -系度指标(numeric)
• 17 - cons.price.idx: 消费物价指数-月度指标 (numeric)
• 18 - cons.conf.idx: 消费者信心指数--月度指标(numeric)
• 19 - euribor3m: 欧元同业拆借利率3个月 - 每日指标 (numeric)
• 20 - nr.employed: 员工数量-季度指标 (numeric)

  输出变量（目标）:

• 21 - y -客户存钱了吗（被成功营销了吗）? (binary: \'yes\',\'no\')

 

主要目标: 提高银行电话营销活动的有效性

该项目将使银行更加细致地了解客户群体，预测客户对于电话营销活动的反应，并为未来的营销计划建立目标客户档案。
通过分析客户特征以及当时的社会经济情况等信息，银行将能够预测客户储蓄行为，并确定哪些类型的客户更有可能进行定期存款。然后，银行可以将其营销工作重点放在这些客户身上。这不仅可以使银行更有效地获得存款，还可以通过减少某些客户的不良广告来提高客户满意度。

 

1、导入库文件

 

import numpy as np
import pandas as pd
import warnings
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline

 

2. 数据整体状态观察

2.1 查看数据基本情况

装载数据后，首先需要对数据进行一个基本观察，例如样本的数量（行数），变量的数量(列数），哪些变量是数值变量，哪些是类别变量（通常表现为char类型）

• 使用shape()方法，观察数据的行列数量。观察数据是否与前文介绍的样本量、变量数相符。
• 使用info()方法观察所有的变量名称、变量的类型，找出哪些属于数值类型。
• 使用head()方法查看数据的大体情况

df=pd.read_csv("bank-additional-full.csv",sep=\';\')
df.shape

df.head()

(41188, 21)

	age	job	marital	education	default	housing	loan	contact	month	day_of_week	...	campaign	pdays	previous	poutcome	emp.var.rate	cons.price.idx	cons.conf.idx	euribor3m	nr.employed	y
0	56	housemaid	married	basic.4y	no	no	no	telephone	may	mon	...	1	999	0	nonexistent	1.1	93.994	-36.4	4.857	5191.0	no
1	57	services	married	high.school	unknown	no	no	telephone	may	mon	...	1	999	0	nonexistent	1.1	93.994	-36.4	4.857	5191.0	no
2	37	services	married	high.school	no	yes	no	telephone	may	mon	...	1	999	0	nonexistent	1.1	93.994	-36.4	4.857	5191.0	no
3	40	admin.	married	basic.6y	no	no	no	telephone	may	mon	...	1	999	0	nonexistent	1.1	93.994	-36.4	4.857	5191.0	no
4	56	services	married	high.school	no	no	yes	telephone	may	mon	...	1	999	0	nonexistent	1.1	93.994	-36.4	4.857	5191.0	no

5 rows × 21 columns

df=pd.read_csv("bank-additional-full.csv",sep=\';\')
df.info()

<class \'pandas.core.frame.DataFrame\'>
RangeIndex: 41188 entries, 0 to 41187
Data columns (total 21 columns):
age               41188 non-null int64
job               41188 non-null object
marital           41188 non-null object
education         41188 non-null object
default           41188 non-null object
housing           41188 non-null object
loan              41188 non-null object
contact           41188 non-null object
month             41188 non-null object
day_of_week       41188 non-null object
duration          41188 non-null int64
campaign          41188 non-null int64
pdays             41188 non-null int64
previous          41188 non-null int64
poutcome          41188 non-null object
emp.var.rate      41188 non-null float64
cons.price.idx    41188 non-null float64
cons.conf.idx     41188 non-null float64
euribor3m         41188 non-null float64
nr.employed       41188 non-null float64
y                 41188 non-null object
dtypes: float64(5), int64(5), object(11)
memory usage: 6.6+ MB

2.2 记录分类和数值变量

根据info输出的结果，区分并且记录下分类和数值变量

• 到此为止，需要分出哪些属于数值类型变量，哪些属于类别变量，请将这些变量分别记录到两个列表中，作为后续实验的基础。结合上述信息，我们可以了解到,数值变量10个,分类变量11个。
• 由于数据集特征较多，分类变量和数值在处理上具有相似性，因此将不同的变量放入不同的list中，便于后续对于同类变量采用循环的方式统一处理。

 

numberVar=[\'age\',\'duration\',\'campaign\',\'pdays\',\'previous\',\'emp.var.rate\',\'cons.price.idx\',\'cons.conf.idx\',\'euribor3m\',\'nr.employed\']
categoryVar=[\'job\',\'marital\',\'education\',\'default\',\'housing\',\'loan\',\'contact\',\'month\',\'day_of_week\',\'poutcome\',\'y\']

 

3. 观察分类变量的取值情况

针对前文所有的分类变量逐一进行分析。

3.1 查看分类变量的取值

• 使用value_counts()方法，查看任意变量的取值和数量。观察这些取值与前面的数据介绍是否一致。
• unique()方法，快速查看所有分类变量的取值情况。要求使用for循环实现.输出参考如下：

 

var=[\'job\',\'marital\',\'education\',\'default\',\'housing\',\'loan\',\'contact\',\'month\',\'day_of_week\',\'poutcome\',\'y\']
for i in var:
    print(i, " :  ", df[i].unique())

job  :   [\'housemaid\' \'services\' \'admin.\' \'blue-collar\' \'technician\' \'retired\'
 \'management\' \'unemployed\' \'self-employed\' \'unknown\' \'entrepreneur\'
 \'student\']
marital  :   [\'married\' \'single\' \'divorced\' \'unknown\']
education  :   [\'basic.4y\' \'high.school\' \'basic.6y\' \'basic.9y\' \'professional.course\'
 \'unknown\' \'university.degree\' \'illiterate\']
default  :   [\'no\' \'unknown\' \'yes\']
housing  :   [\'no\' \'yes\' \'unknown\']
loan  :   [\'no\' \'yes\' \'unknown\']
contact  :   [\'telephone\' \'cellular\']
month  :   [\'may\' \'jun\' \'jul\' \'aug\' \'oct\' \'nov\' \'dec\' \'mar\' \'apr\' \'sep\']
day_of_week  :   [\'mon\' \'tue\' \'wed\' \'thu\' \'fri\']
poutcome  :   [\'nonexistent\' \'failure\' \'success\']
y  :   [\'no\' \'yes\']

3.2 使用条形图查看分类变量取值分布情况

• 绘制所有分类变量取值分布的条形图
• 使用循环的方式，针对所有分类变量绘制条形图

for j in categoryVar:
    plt.figure(figsize=(14,4))
    sns.barplot(df[j].value_counts().index,df[j].value_counts().values)
    plt.title(j)

 

 

 

 

 

 

 

 

 

 

 

4. 观察数值型变量的取值情况

 

4.1 快速浏览数值型变量分布情况

通过describe()方法可以快速浏览数据集中指定数值变量的分布情况。

• mean 均值
• std 标准差
• min，max： 最小值和最大值
• 25%： 第一四分位数(Q1)，即该样本中所有数值由小到大排列后，第25%位置上的数字
• 50%: 中位数，该样本中所有数值由小到大排列后第50%位置上的数字
• 75%： 第三四分位数(Q3)，即该样本中所有数值由小到大排列后，第75%的数字。
  

df[[\'duration\']].describe()

 

	duration
count	41188.000000
mean	258.285010
std	259.279249
min	0.000000
25%	102.000000
50%	180.000000
75%	319.000000
max	4918.000000

 

df[\'age\'].isnull().sum()

0

 

4.2 数值型变量分布可视化

通过进一步的可视化，观察数值型变量的分布情况，数据分布情况的分析。

 

箱形图

箱形图很直观地展示了数据的分散情况，箱型图中矩形较扁，说明数据分布比较集中，矩形较长，说明数据分布比较离散。从箱形图的上下边缘之外观察是否有离散数据，可以了解该变量是否存在较多离群点

以下以年龄分布为例，结合上文describe输出结果进行分析：

1. 矩形盒子中间这条线是中位线，结合图形和上文分析可知，平均年龄为40岁
2. 第一四分位数（下四分位数）和第三四分位数（上四分位数）分别对应着箱子的顶部和底部，结合上文可知其分别是32和47。这是大部分群体的年龄范围。可以看出从上下四分位数差距不大，年龄分布基本比较集中。
3. 从图中看，在上边缘之外存在较多离群点（年龄偏大的顾客）

 

直方图

直方图显示了不同的数据取值的分布情况。

1. 从图上看，客户的分布从60岁以后出现一个大幅度下滑。这与60岁是退休年龄有关。
2. 客户大幅度集中在30~40这个年龄段

for i in numberVar:
    fig, (ax1, ax2) = plt.subplots(nrows = 1, ncols = 2, figsize = (13, 4))
    sns.boxplot(x = i, data = df, orient = \'v\', ax = ax1)
    ax1.set_ylabel(i,fontsize=15)
    ax1.set_title(i, fontsize=15)
    ax2.hist(df[i],30)
    ax2.set_title(i, fontsize=15)
    plt.tight_layout() 
    plt.show()