linux学习笔记(实验楼) 实验12 数据流重定向

时间:2024-05-23 07:35:38

 

一、实验介绍

1.1 实验内容

你可能对重定向这个概念感到些许陌生,但你应该在前面的课程中多次见过>或>>操作了,并知道他们分别是将标准输出导向一个文件或追加到一个文件中。这其实就是重定向,将原本输出到标准输出的数据重定向到一个文件中,因为标准输出(/dev/stdout)本身也是一个文件,我们将命令输出导向另一个文件自然也是没有任何问题的。

1.2 实验知识点

  • 重定向怎么用

  • 文件描述符(0,1,2)

 

 

二、数据流重定向

下面我们简单的回顾一下我们前面经常用到的两个重定向操作:

当然前面没有用到的<和<<操作也是没有问题的,如你理解的一样,它们的区别在于重定向的方向不一致而已,>表示是从左到右,<右到左。

 

2.1简单的重定向

在更多了解 Linux 的重定向之前,我们需要先知道一些基本的东西,前面我们已经提到过 Linux 默认提供了三个特殊设备,用于终端的显示和输出,分别为stdin(标准输入,对应于你在终端的输入),stdout(标准输出,对应于终端的输出),stderr(标准错误输出,对应于终端的输出)。

linux学习笔记(实验楼) 实验12 数据流重定向

文件描述符:文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于 UNIX、Linux 这样的操作系统。

我们可以这样使用这些文件描述符:

默认使用终端的标准输入作为命令的输入和标准输出作为命令的输出

linux学习笔记(实验楼) 实验12 数据流重定向

将cat的连续输出(heredoc方式)重定向到一个文件

将一个文件作为命令的输入,标准输出作为命令的输出

将echo命令通过管道传过来的数据作为cat命令的输入,将标准输出作为命令的输出

将echo命令的输出从默认的标准输出重定向到一个普通文件

linux学习笔记(实验楼) 实验12 数据流重定向

linux学习笔记(实验楼) 实验12 数据流重定向

linux学习笔记(实验楼) 实验12 数据流重定向

初学者这里要注意不要将管道和重定向混淆,管道默认是连接前一个命令的输出到下一个命令的输入,而重定向通常是需要一个文件来建立两个命令的连接,你可以仔细体会一下上述第三个操作和最后两个操作的异同点。

 

2.2标准错误重定向

重定向标准输出到文件,这是一个很实用的操作,另一个很实用的操作是将标准错误重定向,标准输出和标准错误都被指向伪终端的屏幕显示,所以我们经常看到的一个命令的输出通常是同时包含了标准输出和标准错误的结果的。比如下面的操作:

linux学习笔记(实验楼) 实验12 数据流重定向

linux学习笔记(实验楼) 实验12 数据流重定向

遗憾的是,这里依然出现了那条错误信息,这正是因为如我上面说的那样,标准输出和标准错误虽然都指向终端屏幕,实际它们并不一样。那有的时候我们就是要隐藏某些错误或者警告,那又该怎么做呢。这就需要用到我们前面讲的文件描述符了:

linux学习笔记(实验楼) 实验12 数据流重定向

注意你应该在输出重定向文件描述符前加上&,否则shell会当做重定向到一个文件名为1的文件中

 

2.3使用tee命令同时重定向到多个文件

你可能还有这样的需求,除了需要将输出重定向到文件,也需要将信息打印在终端。那么你可以使用tee命令来实现:

 

 

2.4永久重定向

你应该可以看出我们前面的重定向操作都只是临时性的,即只对当前命令有效,那如何做到“永久”有效呢,比如在一个脚本中,你需要某一部分的命令的输出全部进行重定向,难道要让你在每个命令上面加上临时重定向的操作嘛,当然不需要,我们可以使用exec命令实现“永久”重定向。exec命令的作用是使用指定的命令替换当前的 Shell,即使用一个进程替换当前进程,或者指定新的重定向:

 

 

2.5创建输出文件描述符

在 Shell 中有9个文件描述符。上面我们使用了也是它默认提供的0,1,2号文件描述符。另外我们还可以使用3-8的文件描述符,只是它们默认没有打开而已。你可以使用下面命令查看当前 Shell 进程中打开的文件描述符:

linux学习笔记(实验楼) 实验12 数据流重定向

同样使用exec命令可以创建新的文件描述符:linux学习笔记(实验楼) 实验12 数据流重定向

 

 

2.6关闭文件描述符

如上面我们打开的3号文件描述符,可以使用如下操作将它关闭:

 

 

2.7完全屏蔽命令的输出

在 Linux 中有一个被称为“黑洞”的设备文件,所有导入它的数据都将被“吞噬”。

在类 UNIX 系统中,/dev/null,或称空设备,是一个特殊的设备文件,它通常被用于丢弃不需要的输出流,或作为用于输入流的空文件,这些操作通常由重定向完成。读取它则会立即得到一个EOF。

我们可以利用设个/dev/null屏蔽命令的输出:

linux学习笔记(实验楼) 实验12 数据流重定向

上面这样的操作将使你得不到任何输出结果。

 

2.8 使用xargs分割参数列表

xargs 是一条 UNIX 和类 UNIX 操作系统的常用命令。它的作用是将参数列表转换成小块分段传递给其他命令,以避免参数列表过长的问题。

这个命令在有些时候十分有用,特别是当用来处理产生大量输出结果的命令如 find,locate 和 grep 的结果,详细用法请参看 man 文档。

上面这个命令用于将/etc/passwd文件按:分割取第一个字段排序后,使用echo命令生成一个列表。

 

三、作业

 

理解下面这段代码的作用,实际这段代码不会正常工作,请结合这一小节的知识分析这段代码没有正确工作的原因,并设法解决这个问题。

linux学习笔记(实验楼) 实验12 数据流重定向

 

解析:

我们先来分析这段代码,这是想把 ls 命令的输出也就是当前目录的文件列表逐行读取出来,然后使用 rm -iv 在获得你许可的情况下删除他们;假设我们现在的目录下存在名为:a、b、c、三个文件。那么运行这个程序后你会发现,虽然 rm 命令显示了询问是否删除的信息,但是 rm 完全没有关心你的回答,换句话说就是整个程序也没有删除一个文件,你告诉计算机的指令它没有执行,那这是为什么呢?

答案就是 rm -iv 偷了 read 的数据!因为 rm -iv 期待用户从标准输入给出一个 y 或 n 的答案以确认是否删除,但标准输入被 < <(ls) 重定向了。于是 rm -iv 开始在 < <(ls) 里寻找答案。如果找不到 y 或者 n 就一直寻找下去,直到把 < <(ls) 的内容消耗完。这时在下一轮的循环中由于数据没有了, read 读不出数据,程序也就退出了。

如何应对这个情况呢?这就需要我们利用之前讲到的知识了。我们先把标准输入复制一份出来,然后让 rm -iv 使用复制出来的标准输入。再把原来的标准输入重定向给 < <(ls) 。请看修改后的程序:

exec 3<&0

while read filename; do

rm -iv $filename <&3

done < <(ls)

由于在 exec 3<&0 放在了 < <(ls) 之前,描述符 3 很好地保留了原来的标准输入(也就是键盘输入)。之后再运行 rm 时,我们把通过 <&3 把 rm 自身的标准输入再重定向回键盘输入。

注:此作业答案是我参照了实验楼一位小伙伴提交的实验报告。