数据仓库之抽取数据:通过bcp命令行导入数据

时间:2023-12-29 14:23:38

原文:数据仓库之抽取数据:通过bcp命令行导入数据


在做数据仓库时,最重要的就是ETL的开发,而在ETL开发中的第一步,就是要从原OLTP系统中抽取数据到过渡区中,再对这个过渡区中的数据进行转换,最后把经过处理的干净的数据加载到数据仓库中。

目标数据库是sql server,通过bcp命令行导入数据。bcp方式相对于其他方式来说,速度更快,是做了优化的。

以下为bcp命令行常用的参数,注意大小写:

-c  以char作为存储类型

-w  和-c类似,只有当使用unicode字符集拷贝数据时使用nchar作为存储类型

-T  用可信连接

-S  sql server服务器名称

in  导入数据

out 导出数据

queryout 查询导出数据

-U  用户名

-P  密码

-F  从哪一行开始导入

-L  直到哪一行结束

-f  格式文件

-x  与-f一起使用,用来生产xml格式的格式文件

-t  指定字段分隔符是"\t"

-r  指定行分隔符是"\n"

1、开启即席查询


  1. --修改高级参数
  2. sp_configure 'show advanced options',1
  3. go
  4. --允许即席分布式查询
  5. sp_configure 'Ad Hoc Distributed Queries',1
  6. go
  7. --如果配置的值不在合理范围(在最小值最大值范围内),那么可以强制覆盖
  8. reconfigure with override  
  9. go

2、导出格式化文件

格式化文件用来指定表的格式,也就是几个字段,数据类型是什么,后面导入、导出数据会用到。

通过导出格式化选项,可以直接导出,不需要我们自己写。

用可信连接登陆:


  1. bcp wc.dbo.calendar format nul -f c:\calendar.fmt
  2. -c -T -S pc0227gry\mssqlserver2008

通过用户名、密码登陆:


  1. bcp wc.dbo.calendar format nul -f c:\calendar.fmt
  2. -c -Usa -Pxyz -S pc0227gry\mssqlserver2008

3、导出数据文件,可以把远程服务器的数据导出保存为本地的文件


  1. bcp wc.dbo.calendar out c:\calendar.txt -f c:\calendar.fmt
  2. -c -T -S PC0227GRY\MSSQLSERVER2008

4、导入数据


  1. bcp wc.dbo.calendar in c:\calendar.txt -c -f c:\calendar.fmt
  2. -Usa -Pxyz -S pc0227gry\mssqlserver2008
数据仓库之抽取数据:通过bcp命令行导入数据
数据仓库之抽取数据:通过bcp命令行导入数据
发布了416 篇原创文章 · 获赞 135 · 访问量 94万+