It's our wits that make us men.

Linux中awk的用法

Posted on By Xc L


awk

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,默认以空格为分割法夫将每行进行切片,切开的部分再进行各种分析处理。awk是行处理器,相对比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息

awk处理过程:依次对每一行进行处理,然后输出

awk的用法

awk 参数 'BEGIN{} // {action1;action2}' END{} 文件名 参数:

-F 指定分隔符
-f 调用脚本
-v 定义变量
Begin{} 初始化代码块,在对每一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符
// 匹配代码块,可以是字符串或正则表达式
{} } 命令行代码块,包含一条或多条命令,多条命令用 ;隔开
END{} 结尾代码块,在对每一行进行处理之后再执行的代码块,主要是进行最终计算或者输出结尾摘要信息

例: awk 'BEGIN{X=0}/root/{X+=1}END{print"I foud",X,"root lines"}' /etc/passswd 统计 /etc/passwd 文件中包含root行的总数 —–

awk中字符串的含义:

$0 表示整个当前行
$1 每一行第一个字段
NF 字段数量变量
NR 每行的记录号,多文件记录递增
FNR 与NR类似,不过多文件记录不递增,每个文件都从1开始
\t 制表符
\n 换行符
FS BEGIN时定义分隔符
RS 输入的记录分隔符,默认为换行符(即文本是按一行一行输入)
~ 包含
!~ 不包含
== 等于,必须全部相等,精确比较
!= 不等于,精确比较
&& 逻辑与
‖ 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
OFS 输出字段分隔符,默认也是空格,可以改为其他的
ORS 输出的记录分隔符,默认为换行符,即才处理结果
-F[:#/] 定义了三个分隔符

print是awk打印指定内容的主要命令,也可以用printf

awk ‘{print}’ /etc/passwd == awk ‘{print $0}’ /etc/passwd

awk ‘{print” “}’ /etc/passwd 不输出passwd的内容,而是输出相同个数的空行,进一步解释了awk是一行一行处理文本

awk ‘{print”a”}’ /etc/passwd 输出相同个数的a行,一行只有一个a字母

awk -F: ‘{print $1}’ /etc/passwd == awk -F “:”‘{print $1}’ /etcc/passwd

awk -F:’{print $1 $2}’ 输入字段1,2,中间不分隔

awk -F:’{print $1,$3,$6}’ OFS=”\t” /etc/passwd 输出字段1,3,6,以制表符作为发分隔符

awk -F:’{print $1;print $2}’ /etc/passwd 输入字段1,2,分行输出

awk -F:’{print $1 “**” print $2}’ /etc/passwd 输出字段1,2,中间以**分隔

awk -F:’{print”name:”$1”\tid:” $2}’ /etc/passwd 自定义格式输出字段1,2

awk -F:’{print NF}’/etc/passswd 显示每一行有多少字段

awk -F:’NF>2{print}’ /etc/passwd 将每行字段数大于2的打印出来

awk -F:’NR==5{print}’ /etc/passwd 打印出/etc/passwd文中的第5行

awk -F:’NR==5 NR==6{print}’/etc/passwd 打印出/ec/passwd文件中的第5行和第6行

awk -F:’NR!=1{print}’/etc/passwd 不显示第1行

awk -F:’{print > “1.txt”}’/etc/passwd 使输出到文件中

awk -F:’{print}’/etc/passwd > 2.txt 使用重定向输出到文件中


字符匹配