Pandas-多表操作

时间:2023-02-20 12:57:35

Pandas包对多个数据表(DataFrame)的常用整合功能。

目录


merge 合并

  • pandas.merge可根据一个或多个键将不同DataFrame中的行合并起来
  • # 在未指定连接键的情况下,merge会将重叠列的列名当做键
    pd.merge(left, right) # 指定“on”作为连接键,left和right两个DataFrame必须同时存在“on”列,连接键也可N对N(少用)
    pd.merge(left, right, on="key")
    pd.merge(left, right, on=["key1", "key2"]) # 指定left的连接键为“lkey”,right的连接键为“rkey”
    pd.merge(left, right, left_on="lkey", right="rkey") # suffixes:用于追加到重叠列名的末尾,默认为("_x", "_y")
    pd.merge(left, right, on="key", suffixes=("_left", "_right")) # 指定连接方式:“inner”(默认),“left”,“right”,“outer”
    pd.merge(left, right, how="outer")
  • 多对多连接产生的是行的笛卡尔积
  • 常用方式:连接方式为“left”,right的连接键要唯一(去除重复值),通过right的数据补全left的数据

   索引上的合并(可用join代替,而且join更方便)

  • 当DataFrame的连接键位于其索引中,可以使用 left_index=True 和 right_index=True
  • # 索引和索引连接
    pd.merge(left, right, left_index=True, right_index=True) # "key"和索引连接
    pd.merge(left, right, left_on="key", right_index=True) # 层次化索引
    pd.merge(left, right, left_on=["key1", "key2"], right_index=True)

join 连接

  • DataFrame的join实例方法,是为了方便实现索引合并
  • # 用left的索引和right的索引进行merge
    left.join(right) # 用left的索引和right的“key”进行merge
    left.join(right, on="key") # 层次化索引
    left.join(right, on=["key1", "key"]) # join可以合并两张以上的表,而merge只能合并两张表
    left.join([right1, right2], how="outer")

concat  轴向连接

  • pandas.concat可以沿着一条轴将多个表对象堆叠到一起:因为模式how模式是“outer”
  • # 默认 axis=0 上下拼接,列column重复的会自动合并
    pd.concat([df1, df2], axis=0) # axis=1 左右拼接,行raw/index重复的会自动合并
    pd.concat([df1, df2], axis=1) # 忽略df1和df2原来的index,重新给新的DataFrame设置从0开始的index
    pd.concat([df1,df2], ignore_index=True)

append

  • 使用场景:表头一致的多张表,进行连接(上下连接)
    df1.append(df2).append(df3)

combin_first 数据填补

  • 使用场景:有两张表left和right,一般要求它们的表格结构一致,数据量也一致,使用right的数据去填补left的数据缺漏
  • 如果在同一位置left与right数据不一致,保留left的数据
    df1.combin_first(df2)

Pandas-多表操作的更多相关文章

  1. Pandas的基础操作(一)——矩阵表的创建及其属性

    Pandas的基础操作(一)——矩阵表的创建及其属性 (注:记得在文件开头导入import numpy as np以及import pandas as pd) import pandas as pd ...

  2. Pandas的拼接操作

    pandas的拼接操作 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join import pandas as pd import n ...

  3. (四)pandas的拼接操作

    pandas的拼接操作 #重点 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join 0. 回顾numpy的级联 import num ...

  4. 数据分析05 /pandas的高级操作

    数据分析05 /pandas的高级操作 目录 数据分析05 /pandas的高级操作 1. 替换操作 2. 映射操作 3. 运算工具 4. 映射索引 / 更改之前索引 5. 排序实现的随机抽样/打乱表 ...

  5. Mysql常用表操作 | 单表查询

    160905 常用表操作 1. mysql -u root -p 回车 输入密码   2. 显示数据库列表 show databases     3. 进入某数据库 use database data ...

  6. Sql Server系列:数据表操作

    表是用来存储数据和操作数据的逻辑结构,用来组织和存储数据,关系数据库中的所有数据都表现为表的形式,数据表由行和列组成.SQL Server中的数据表分为临时表和永久表,临时表存储在tempdb系统数据 ...

  7. 学习MySQL之单表操作(二)

    ##单表操作 ##创建表 CREATE TABLE t_employee( empno ), ename ), job ), MGR ), Hiredate DATE DEFAULT '0000-00 ...

  8. python——Django(ORM连表操作)

    千呼万唤始出来~~~当当当,终于系统讲了django的ORM操作啦!!!这里记录的是django操作数据库表一对多.多对多的表创建及操作.对于操作,我们只记录连表相关的内容,介绍增加数据和查找数据,因 ...

  9. mysql数据表操作&库操作

    首先登陆mysql:mysql -uroot -proot -P3306 -h127.0.0.1 查看所有的库:show databases; 进入一个库:use database; 显示所在的库:s ...

  10. SQL server基础知识(表操作、数据约束、多表链接查询)

    SQL server基础知识 一.基础知识 (1).存储结构:数据库->表->数据 (2).管理数据库 增加:create database 数据库名称 删除:drop database ...

随机推荐

  1. 【原】nodejs全局安装和本地安装的区别

    来微信支付有2年多了,从2年前的互联网模式转变为O2O模式,主要的场景是跟线下的商户去打交道,不像以往的互联网模式,有产品经理提需求,我们帮忙去解决问题. 转型后是这样的,团队成员更多需要去寻找业务的 ...

  2. NDK(2)使用eclipse + ndk开发过程演示,含CPU架构编译

    环境linux + eclipse + adt + ndk 1,在ide中配置ndk 下载ndk,在eclipse中配置 2,使用ndk编程 2.1 给项目添加ndk 支持 右键 项目名 --> ...

  3. angularjs $swipe调用方法

    angularjs 的$swipe,用法: $swipe.bind(angular.element(document),{ start: function(pos) { }, move: functi ...

  4. 在Linux系统中修改IP地址

    在Linux系统中,通过编辑网络配置文件,设置系统IP地址,当然要在root权限下执行,具体步骤如下: 1.切换路径到/etc/sysconfig/network-scripts [root@Comp ...

  5. Duilib第一步(II)-Hello World

    My first Duilib program 1. Prepare for development 打开DuiFarm项目DuiFarm.cpp文件,将除_tWinMain函数之外所有内容删除.删除 ...

  6. tomcat配置context的crossContext属性应用案例

    在tomcat下,context元素有一个crossContext属性,如果配置为true,则可以实现在同一个tomcat下的多个web应用之间实现ServletContext对象访问.该属性主要用于 ...

  7. [daily]在dark theme下,启动wps的方法

    dark之后,wps的字体变成了灰白的 这样启动 env GTK2_RC_FILES=/usr/share/themes/Breeze/gtk-2.0/gtkrc /usr/bin/et -style ...

  8. 一次查找Windows Live Writer的VSPaste插件丢失RTF格式信息的经历

    背景 我在博客园上写博客是使用Windows Live Writer,代码高亮插件是使用Paste from Visual Studio(下文简称VSPaste). Windows Live Writ ...

  9. 解决maven的依赖总是无法下载完成

    有时候在eclipse里面刚刚导进一个maven项目,但是总是无法完整下载pom文件里面的依赖 主要有两个原因: 1,需要下载的依赖(jar包)需要开发人员给权限(远程仓库的下载权限),这个可以找开发 ...

  10. 简单漂亮的php验证码函数

    /* *说明:函数功能是生成验证码 * 参数说明:输入 长度,宽度,高度 */ function vcode($_code_length = , $_width = , $_height = ){ $ ...