awk
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,默认以空格为分割法夫将每行进行切片,切开的部分再进行各种分析处理。awk是行处理器,相对比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息
awk处理过程:依次对每一行进行处理,然后输出
awk的用法
awk 参数 'BEGIN{} // {action1;action2}' END{} 文件名
参数:
| -F | 指定分隔符 |
| -f | 调用脚本 |
| -v | 定义变量 |
| Begin{} | 初始化代码块,在对每一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符 |
| // | 匹配代码块,可以是字符串或正则表达式 |
| {} } | 命令行代码块,包含一条或多条命令,多条命令用 ;隔开 |
| END{} | 结尾代码块,在对每一行进行处理之后再执行的代码块,主要是进行最终计算或者输出结尾摘要信息 |
例: awk 'BEGIN{X=0}/root/{X+=1}END{print"I foud",X,"root lines"}' /etc/passswd
统计 /etc/passwd 文件中包含root行的总数
—–
awk中字符串的含义:
| $0 | 表示整个当前行 |
| $1 | 每一行第一个字段 |
| NF | 字段数量变量 |
| NR | 每行的记录号,多文件记录递增 |
| FNR | 与NR类似,不过多文件记录不递增,每个文件都从1开始 |
| \t | 制表符 |
| \n | 换行符 |
| FS | BEGIN时定义分隔符 |
| RS | 输入的记录分隔符,默认为换行符(即文本是按一行一行输入) |
| ~ | 包含 |
| !~ | 不包含 |
| == | 等于,必须全部相等,精确比较 |
| != | 不等于,精确比较 |
| && | 逻辑与 |
| ‖ | 逻辑或 |
| + | 匹配时表示1个或1个以上 |
| /[0-9][0-9]+/ | 两个或两个以上数字 |
| /[0-9][0-9]*/ | 一个或一个以上数字 |
| OFS | 输出字段分隔符,默认也是空格,可以改为其他的 |
| ORS | 输出的记录分隔符,默认为换行符,即才处理结果 |
| -F[:#/] | 定义了三个分隔符 |
print 打印
print是awk打印指定内容的主要命令,也可以用printf
awk ‘{print}’ /etc/passwd == awk ‘{print $0}’ /etc/passwd
awk ‘{print” “}’ /etc/passwd 不输出passwd的内容,而是输出相同个数的空行,进一步解释了awk是一行一行处理文本
awk ‘{print”a”}’ /etc/passwd 输出相同个数的a行,一行只有一个a字母
awk -F: ‘{print $1}’ /etc/passwd == awk -F “:”‘{print $1}’ /etcc/passwd
awk -F:’{print $1 $2}’ 输入字段1,2,中间不分隔
awk -F:’{print $1,$3,$6}’ OFS=”\t” /etc/passwd 输出字段1,3,6,以制表符作为发分隔符
awk -F:’{print $1;print $2}’ /etc/passwd 输入字段1,2,分行输出
awk -F:’{print $1 “**” print $2}’ /etc/passwd 输出字段1,2,中间以**分隔
awk -F:’{print”name:”$1”\tid:” $2}’ /etc/passwd 自定义格式输出字段1,2
awk -F:’{print NF}’/etc/passswd 显示每一行有多少字段
awk -F:’NF>2{print}’ /etc/passwd 将每行字段数大于2的打印出来
awk -F:’NR==5{print}’ /etc/passwd 打印出/etc/passwd文中的第5行
| awk -F:’NR==5 | NR==6{print}’/etc/passwd 打印出/ec/passwd文件中的第5行和第6行 |
awk -F:’NR!=1{print}’/etc/passwd 不显示第1行
awk -F:’{print > “1.txt”}’/etc/passwd 使输出到文件中
awk -F:’{print}’/etc/passwd > 2.txt 使用重定向输出到文件中