linux+mysql数据导出的一般过程

时间:2022-11-21 16:33:51

编写sql导出语句

sql:

mysql -h 我的数据库IP -P数据库端口 -u用户名 -p密码 -e "查询条件"  数据库名称> 要输出到的文件.txt

用PHP生成批量查询语句,输出到sh:
php ../dbQuery.php > query.sh

数据处理:


删除首行:
sed -i '1d' *.txt


合并:
cat *.txt > logs_merge.txt


取第一列:
awk -F ' ' '{print $1}' logs_merge.txt > out.txt


排序:

sort out.txt > out_sort.txt

排重:

去掉相邻的重复行
sort out_sort.txt | uniq > out_sort_uniq.txt


nc取回计算结果:
本地运行: nc -l 1234 > out_sort_uniq.txt
server上运行: nc 192.168.10.11 1234 < out_sort_uniq.txt