shell复习-1

2017-10-15

变量

# 等会前后不能有空格，以字母或下划线开头
file=123456
#如果值中有空格，用引号包裹起来
file="1 2 3 4 5 6"
#取值用$
echo $file

输出命令

1 2	echo "hellowrorld" printf "hello %d world %s" 123 "string"

tr命令

字符转换命令
#将string1中的字符替换为string2中的字符，要替换的字符每个对应
tr  string1 string2 
#删除所有属于第一字符集的字符
tr  -d string1
#把连续重复的字符以单独一个字符表示 
tr  -s string1

shell脚本的参数

1 2	./my.sh arg1 arg2 arg3 $0 $1 $2 $3

查找与替换

grep命令

解析输入，找到符合某个正则的行
grep用于简单匹配，使用基本正则(BRE)
egrep 使用扩展正则(ERE)
-A  n ：额外显示匹配行后面的n行。
-B  n :显示匹配的行和之前的n行
-C n：等价于-A N -B n,显示之前和之后的n行
-c :打印匹配的个数
-E 使用扩展正则，等价于egrep
-e 表达式 ：指定匹配的东西,当有多个表达式时很有用
-i:忽略大小写
-v:反转
-n:显示行号
-l:显示匹配的文件的名称，而不是行,-L取反
-d:指定查找的是目录而非文件
-r:递归目录查找
--exclude:忽略某些文件(--exclude *.{php,html})
--exclude-dir:忽略某些文件夹
--include ：只在某些文件中搜索
--include-dir：
注意BRE和ERE有些区别。

sed命令

#s命令:替换
sed 's/hello/world/' 将第一个hello替换为world
sed 's/hello/world/g' 将所有的hello替换为world
sed 's/hello/world/3' 将第三个hello替换为world
sed 's/hello/world/2g' 从第二个hello开始所有hello替换为world
#定界符,可自定义，如果替换中有，那么需要转义
sed 's:hello:world:g'
#d命令：删除操作
sed '/^hello/d' 删除以hello开头的行
sed '2d'删除第二行
sed '2,5d' 删除2-5行
sed '2,$d' 删除2到最后一行
#已匹配字符串标记&
sed 's/hello/&world/g' 将hello替换为helloworld
#选定行的范围：,（逗号）
sed -n '/test/,/check/p'
注意sed的正则是BRE。

cut命令

做子串提取，获取域分割
-d: 指定分割符
-f：显示指定字段的内容
echo "field1:field2:field3" | cut -d : -f 2 
输出:field2
-c 
echo "field1:field2:field3" | cut -c3-7 剪切3-7的子串

awk命令

语法

1 2	awk [options] 'script' var=value file(s) awk [options] -f scriptfile var=value file(s)

常用命令选项

1
2
3

-F fs：指定分割符
-v var=value ：赋值一个用户定义变量，将外部变量传递给awk。
-f filescript： 从文件中读取awk命令

awk基本结构

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file
先自行BEGIN语句块，读取一行执行pattern{commands}，到文件末尾执行END{}。
print 在awk中：
print a,b,c  输出是以空格分割，可以用""连接多个变量。

awk的内置变量

$0 整行
$1,$2...第n个field
FILENAME ：输入文件的名称
FS：分割符
NF：总的字段数
NR: 当前的行号

参数传递-v选项

1
2
3

echo "hello world" | awk -v name='happy new year' '{ print name }'
或者不加-v，放在末尾
echo "hello world" | awk  '{ print name }END{print aa}' aa='helloworld' name='hapy new year'

运算符

基本上的c运算符都支持。
特殊的:
^ 求幂 2^3  = 8
~ 正则匹配
~!正则不匹配
in 判断数组是否含有某个key:arry["a"]=123;if( "a" in arry ){xxx}

高级输入输出

next
next直接进行下一次匹配
getline函数  
如果左右有重定向符"|"，"<",那么表示从重定向的文件中获取输入行。
express|getline var  从express命令的结果中获取一行赋值给var。
awk 'BEGIN{while("ls"|getline var){ print var }}'
如果没有的话，那就是从当前文件中读取，会造成隔行读取。
awk '{getline var;print var}'只会打印偶数行。
close函数
关闭文件(getline可以打开文件)
允许重定向符的使用
> 和>>

流程控制

1 2	基本和C一样 for支持for(key in array)

数组

awk的数组类似一个字典。Index可以是任意值。
arry["key1"]="value1"
arry["key2"]="value1"
arry[3]="value1"
相关函数:
length()
awk '{line[NR]=$0}END{print length(line)}' aa.sh
多维数组
array[1,2]=12

内置函数

算术函数：
log()
sin()
cos()
...
rand()返回任意数字 n，其中 0 <= n < 1。
字符串函数
#字符串替换
sub( Ere, Repl, [ In ] )
in:如果不指定，默认$0，将in中第一个匹配ERE的字符串替换为Repl
gsub( Ere, Repl, [ In ] ) 不是替换第一个，而是替换所有
cat data.txt|awk '{gsub(2,100,$0);print $0}'将所有的
#字符串查找
index(string1,string2) string1是否包含string2,返回起始位置
#字符串正则匹配查找
match(string,ERE)
#字符串长度
length(string)
#字符串截取
substr(string,开始位置,长度)
#字符串分割
split( String, A, [Ere] )将字符串str以ERE匹配的作为分隔符，分割的结果放到数组A中
#格式化
toupper(string)
tolower(strong)
sprintf("",arg1,arg2...)
一般函数：
system()：执行shell命令，返回退出状态