Pandas操作
python使用pandas读取csv
import pandas as pd
#数据筛选
usetTable = pd.read_csv(filename,header = 0)
mask = True ^ userTable['ID'].isin(['',''])&.....
show = userTable[mask]
#例子，包含6105的行
userTable[userTable['ID'].isin([''])]
userTable[userTable['ID'].isin([6105])]
#统计某种数据出现的次数
result = userTable.group(['列名1'，'列名2']).size().result_index(name = 'count')
#表连接(列名一致)
result = pd.merge(result1,result2,how = 'left', on=['列名1'，'列名2'])
#表连接(列名不一致)
result = pd.merge(result1,result2,how = 'left', left_on = '列名',right_on = '列名')
#去除重复项
result = result1[~result1.duplicated(subset = ['列名1'，'列名2'], keep = 'last')]
#对指定项进行累加，展示
result = result1.groupby([])['count'].sum().reset_index()
#选取用户在不同地点的最大时间
result = result1.groupby([])['time'].max().reset_index()
#返回特定值的行
table[tabel.flag == 1]
#loc,iloc,ix
'''
loc通过标签索引读取行数据
iloc通过行号索引
ix结合两种
'''
#取某几列数据
iloc[:,[1,2]]
#python中的三元表达式
h = "变量1" if a>b else "变量2"
table.groupby('b').['key'].apply(lambda i: i.iloc[1] if len(i)>2 else len(i))#此处的i应用于每一行或每一列，自动匹配
#按照年龄排序
students = [('joh','A',15),('jat','B',12),('dev','B',10)]#tuple
list1 = sorted(students,key = lambda student:students[2])#list
sorted(cmp,key,reverse)#reverse默认为False,升序。
#过滤，每一行返回的是最大值
index1 = result.groupby()[].transform(max)
index2 = ( index1 == result['count'])
#取特定列
usetTable[['列名1','列名2']]
#删除特定列
userTable.drop('列名'，axis =1)
axis = 0 表示沿着行标签方向执行方法
axis = 1 表示沿着列标签方向执行方法
#返回特定数据所在的行号
d = df[(df.Boolcol ==3 )& (df.attr == 32)].index.tolist()
#查看某几列的值
df.head(n)
#获取行号
raw = df.shape[0]
#通过行号获取其他数据
df.ix[d]['数据']
#list转array
np.array([list])
#array存为csv
pd.DataFrame(data = array).to_csv('yy',mode = 'a',header=False)
#获取某一列不重复的数据及个数
len(df['列名'].unique())
#python作图
#设置X轴
pd.set_index('列名')
pd.plot.line()
pd.random.randn(10,4)
fig, axes = plt.subplots(2,1)
pd.plot(kind ='bar', ax = axe[0])
#垂直柱状图
kind = 'bar'
#垂直密度图
kind = 'kde'
#水平柱状图
kind = 'barh'
#指定在某个子图上作图
ax = axe[0]
#生成堆积柱状图
stacked = True
#饼图
pd.plot.pie(subplots = True)
pd.plot.scatter(x = '列名'，y = '列名')
#使用pd.Series把dataframe转成Series
pd.series(df['列名'].values,index = df[''])
#返回列数
userTable.colums.size
#将组内的列表合并,数据聚合
result = table.groupby(['id']).aggregate(lambda x: list(x))
#python去除字符串两端的符号
strip()去除首末
lstrip()去除左边
rstrip()去除右边
#把含有Nan的行删除
df.dropna()
#删除列为空的行
table = pd.read_csv("", dtype = {'CUST_ID':str})
mask = table['CUST_ID'].isnull()
table = table[~mask]
#取列名
DataFrame.colums.values.tolist()
#转化为python可识别的数值
np.nan:nan
np.Inf:Inf
#对分组后的数据采取不同的运算方式
data = df.groupby('A')
data.agg({'B':'mean', 'c':'sum'})
#按照A分组后，对多列采取相同的聚合方式
df.groupby('A').apply(np.mean)
#将某列数据按数据值分成不同范围，进行分组运算
df = pd.DataFrame({'Age'}:np.random.randint(20,70,100),
'sex':np.random.choice(['male','female'],size=(10)))
#生成时间格式
pd.dta_range('2018-6-20', periods =20, freq = '5min')
#按照范围分组
age_groups = pd.cut(df['age'], bins = [19,40,65,np.inf])
result = df.groupby(age_groups).max()
#生成交叉表
pd.crosstab(age_groups,df['sex'])
#分组后，转为dict
A = dic(list(df.groupby('key')))
A['a']
temp = df.groupby('type')
for name,group in temp:
print(name)#str
print(group)#DataFrame
fo x in temp:
print(x)#tuple
agg使用：针对不同的列，应用不同的聚合函数
#按照A分组后，对另一列采取不同的聚合方式
df.groupby('A')['B'].agg({'mean':np.mean,'std':np.std})
#按照A分组后，对不同的列采取不同的处理方式
df.groupby('A').agg({'B':[np.mean,'sum'],'C':['count',np.std]})
#分组后，按照某几列排序
#按照时间排序
result.groupby(['a.id'],group_keys = False).apply(
lambda g: g.sort_value('b.time',ascending = True))
#按照指定列排序
DF.sort_values(by = '列名'， ascending = True)
#取某一列的值
tble['列名'].str[0:10]
#增加一列
table['new'] = talbe['列名'].str[0:10]
#lambda函数
my_lambda = lambda arg: arg+1
result = my_lambda(123)
等价于
def func(arg):
return arg+1
result = func(123)
#读取csv问价
pd.read_csv(error_bad_lines = False(跳过错误行)，
quoting = CSV.QUOTE_NONE(指定字符使用时不收分隔符影响))
#pandas按照正则匹配
index = table['b.str'].str.contains(r'^\$.*')
result = table[index]
#获取特定值所在的列
result[result['a.id' == 2018]]
result[result['a.time' >= '2018-04-01']]
#保留第一次出现的行
df.drop_duplicates(subset = ['',''],keep='first')
