Linux Shell 脚本攻略 ---- 第四章 让文本飞

4.1 正则表达式入门

1 正则表达式是基于样式匹配的文本处理技术的关键所在

2 正则表达式是用于绝大多数文本处理工具的一种语言

3 正则表达式的基本组成部分

正则表达式 描述

^ 行起始标记

$ 行尾标记

. 匹配任意一个字符

[] 匹配包含在[]之中的任意一个字符

[^] 匹配除了[]之外的任意一个字符

[-] 匹配[]中指定范围内的任意一个字符

? 匹配之前的项1次或0次

+ 匹配之前的项1次或多次

* 匹配之前的项0次或多次

{n} 匹配之前的项n次

{n,} 匹配之前的项至少n次

{n,m} 匹配之前的项至少n次最大m次

4 为了匹配一个IP地址，可以使用下面的正则表达式

[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}

我们知道IP地址通常是由点号分割的4个整数，每个整数的值是0-255

5 我们在字符前面放一个”\"，这种做法是称为对字符的转制

4.2 用grep在文件中搜索文本

1 grep命令是UNIX中用于文本搜索的大师级工具，它能够接受正则表达式和通配符

2 在文件中搜索一个单词： grep word file

3 grep命令也可以对多个文件进行搜索： grep word file1 file2 file3...

4 如果想要打印包含word之外的所有行可使用： grep -v word file

5 统计文件或文本中包含匹配字符串的行数： grep -c word file

6 打印出包含匹配字符串的行数： grep -n word file

7 如果需要在多级目录中对文本进行递归搜索，可以使用： grep word path -R -n

8 忽略样式中的大小写： grep -i word file

9 打印出匹配文件之前或之后的行

要打印匹配某个结果之后3行： grep word -A 3 file

要打印匹配某个结果之前的3行： grep word -B 3 file

要打印匹配某个结果的之前及之后3行： grep word -C 3 file

4.3 用cut按列切分文件

1 cut是一个帮我们将文本按列进行切分的小工具，它也可以通过指定定界符

2 为了提取第一个字段或列，可以使用下面的方法

cut -f field_list file // field_list是要显示的列

3 cut -f 2,3 file // 这条命令将显示第2，第3列

4 我们也可以利用-complement选项对提取的字段进行补集运算，假设有多个字段，你希望打印出除了第3列之外的所有列，则可以使用： cut -f3 --complement file

5 要指定字段的定界符，使用-d选项： cut -f2 -d";" file // 命令显示第2列，用";"做为分割符

6 如果要切分出第n到m个字符可以使用： cut -cn-m file

4.4 sed入门

1 sed是stream editor（流编辑器）的缩写，它是文本处理中非常重要的工具，它能够完美的配合正则表达式使用，功能不同反响

2 sed可以替换给文本中的字符串，它可以利用正则表达式进行匹配

sed 's/pattern/replace_string/' file

3 如果使用-i选项，可以将替换结果应用于原文件: sed -i 's/pattern/replace_string/' file

4 用sed移除空白行： sed '/^$/d' file

5 利用管道组多个sed命令这种方法可以用下面的方式替换： sed expression | sed expression 等价于sed 'expression ; expression'

4.5 awk入门

1 awk脚本的结构基本如下所示： awk 'BEGIN{statement} pattern{statement}END{statement}'

2 一个awk脚本通常有三个部分组成：BEGIN语句块，END语句块和能够使用模式匹配的语句块。这三个部分是可选的，它们中的任何一个部分都可以不出现在脚本中，脚本通常包含在单引号中或双引号中

3 awk命令的工作方式

（1） 执行BEGIN{statement}语句块中的语句

（2） 从文件或stdin中读取一行，然后执行pattern{statement}，重复这个过程，直到文件全部读取完毕

（3） 当读至输入流末尾的时候，执行END{statement}语句块

4 BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，诸如变量的初始化，打印输出表格的表头语句等等

5 END语句块和BEGIN类似，END语句在awk从输入流中读取完毕之后被执行，像打印所有行的结果这类信息一般都是放在END语句块中执行

6 最终要的部分是pattern语句块中的部分，这个语句块同样也是可选的，如果不提供，则默认执行print，即打印每一个读取的行

7 当使用不带参数的pring时，它会打出当前行。关于print，需要记住的是：当pring的参数是以逗号进行分割时，参数打印则以空格做为定界符，在awk的print中双引号是被当做拼接操作符使用的

8 awk的一些特殊变量

NR： 表示记录数量，在执行的过程中相当于当前行号

NF： 表示字段数量，在执行过程中对应于当前行的字段数

$0: 这个变量包含执行过程中当前行的文本内容

$1: 这个变量包含第一个字段的文本内容

$2: 这个变量包含第二个字段的文本内容

9 通常grep是默认读取一个文件的所有行，如果只想读取某一行，可以使用getline

10 awk有很多内置的函数

length(string): 返回字符串的长度

index(string, search_string): 返回search_string在字符串中的出现的位置

split(string, array, delimiter)： 用定界符生成一个字符串列表，并将该列表存入数组

4.6 替换文本或文件中的字符串

1 可以使用下面的方式替换一个字符串或样式

sed 's/pattern/replace_string/g' file //这条命令会替换所有匹配到的项，/g的意识是全局(global)，这就意味着它会替换文件中所有匹配的内容

2 当文件名传递给sed的时候，sed将输出写到stdout，如果不想把输出结果输送到stdout，而是将更改保存到原文件中可以使用-i选项 sed 's/pattern/replace_string/g' -i file

4.7 按列合并文件

1 可以使用paste命令实现按列拼接： paste file1 file2 file3

2 默认的定界符是制表符，也可以使用-d来明确指定定界符

paste file1 file2 -d "," // 指定定界符是","

4.8 打印文件或行中的第n个单词或列

1 用下面的命令打印第五列

awk '{print $5}' file // 这个命令将打印文件file的第五列

2 要打印从M行到N行这个范围的所有文本，使用下面的语法

awk 'NR==N , NR==M' file

3 命令tac可以做到逆序打印文件

seq 5 | tac // 这个命令将输出5 4 3 2 1

tac file // 这个命令将逆序打印处文件file

4 用awk实现head和tail还有tac

awk 'NR <= 10' file // 这个命令默认打印处文件file的前10行

awk '{buffer[NR%10]=$0}END{for(i=1;i<11;i++)print buffer[i%10]} file // 这个命令默认打印文件file的最后10行

awk '{buffer[NR]=$0}END{for(i=NR;i>0;i--)print buffer[i]}' file // 这个命令默认打印逆序打印出文件file