linux shell编程总结

时间:2024-01-01 13:51:39

linux shell编程总结

本周学习了unix/linux
shell编程,参考的是《LINUX与UNIX
Shell 编程指南》,David
Tansley著;徐焱,张春萌等译,由机械工业出版社出版的了,往内页那么一翻,都是2000年3月译的了,原书估计会更老,不过图书馆能找到合适于我这种初学者的也许就这么本了,将就着的吧。

这本书是以Bourne
shell这个UNIX系统都支持的标准shell。Bourne
Again shell(BASH)、TCSH
shell和Z
shell它们都是相应的UNIX命令解释程序的增强型版本。BASH
shell是Bourne
shell的高级版本。TCSH
原来是为UNIX的BSD版本开发的C
shell的增强型版本。

1.基本unix/linux命令

(1)
setuid,guid

作用:
suid意味着如果某个用户对属于自己的shell脚本设置了这种权限,

那么其他用户在执行这一脚本时也会具有其属主的相应权限。

guid执行相应脚本的用户将具有该文件所属用户组中用户的权限

例:chmod
4755

(2)
chmod,chown,chgrp

作用:修改权限

格式:chmod
[who] operator [permission] filename

who:u(文件属主)
g(同组用户)
o(其他用户)
a(所有用户)

operator:
+(增加权限)
-(取消权限)
=(设定权限)

permission:r(读)
w(写)
x(执行)
s(文件属主和组set-ID)
t(粘性位*)
l(给文件加锁,使其他用户无法访问)

例:chmod
ugo+rwx myfile 将myfile文件给u,g,o用户r,w,x的权限

(3)
umask

作用:设置所创建文件/目录的缺省权限

格式:umask
[value]

例:umask
022

touch
file1

则file1的权限部分变为:-rw-r--r--

(4)
ln

格式:ln
[-s] source_path target_path

(5)
touch

作用:创建一个空文档

格式:tough
myfile

注解:tough
myfile将创建一个文件myfile

(6)
find

作用:搜索文件

格式:find
pathname -options [-print -exec -ok]

-print:find命令将匹配的文件输出到标准输出

-exec:find命令对匹配的文件执行该参数所给出的shell命令,相应命令的格式为'command'{}
\;

-ok:作用和-exec作用相同。只不过每一步执行都需要用户的确认

-options:(主要的)

-name:按文件名查找

-perm:按文件权限查找

-prune:使find命令不在当前指定的目录中查找

-user:按照文件属主查找

-group:按照文件所属组来查找

-mtime
-n
+n,按照文件的更改时间来查找,-n表示文件更改时间距现在n天以内,+n表示文件更改时间距现在n天以前;此外,还有-atime,-ctime选项,和-mtime选项类似

-type:查找某一类型的文件,诸如:b(块设备文件),d(目录),c(字符设备文件),p(管道文件),l(符号链接文件),f(普通文件)

-size
n[c]:查找文件长度为n块的文件

例:

在当前目录及其子目录中查找所有的"*.txt"文件

find
. -name "*.txt" -print

在当前目录下查找文件权限位为755的文件,即文件属主可以读、写、执行,其他用户可以读、执行的文件

find
. -perm 755 -print

在当前目录下查找除目录以外的所有类型的文件

find
. ! -type d -print

用ls
-l 命令列出所匹配的文件

find
. -type f -exec ls -l {} \;

在/logs目录中查找更改时间在5日以前的文件并删除它们

find
logs -type f -mtime +5 -exec rm {} \;

(7)echo

作用:显示文本行或变量,或者把字符串输入到文件

格式:echo
string

例:

给出提示符,并输入值给变量name

echo
"What's your name:\c"

read
name

(8)pg

作用:显示文件

格式:pg
filename

(9)read

作用:读入值给变量

格式:read
var

例:read
name 从键盘读入字符到name变量

(10)cat

作用:显示文件

格式:cat
filename

(11)tee

作用:把输出的一个副本输送到标准输出,另一个副本拷贝到相应的文件中

格式:tee
filename

例:who
| tee who.out 使用who命令,结果输出到屏幕上,同时保存在who.out文件中

(12)grep(全局正则表达式)

作用:允许对文本文件进行模式查找,如果找到匹配模式,grep打印包含模式的所有行

格式:grep
[options] 基本正则表达式[文件]

常用options值:

-c
只输出匹配行的计数

-i
不区分大小写(只适用于单字符)

-h
查询多文件时不显示文件名

-l
查询多文件时只输出包含匹配字符的文件名

-n
显示匹配行及行号

-s
不显示不存在或无匹配文本的错误信息

-v
显示不包含匹配文本的所有行

例:grep
"sort" *.doc 在当前目录下所有的.doc文件中查找字符串"sort"

grep
"48<tab>" data.f 抽取字符串后有一个<Tab>键

grep
'[0-9]\{3\}\.[0-0\[3\}\.' ipfile 要抽取其中所有nnn.nnn的IP地址(原文印刷错误?)

(13)awk

格式:awk
[-f field-separator] 'command' input-file(s)

===============================================================================

awk条件操作符

===============================================================================

操作符描述操作符描述

<
小于>=
大于等于

<=
小于等于~
匹配正则表达式

==
等于!
不匹配正则表达式

!=
不等于

===============================================================================

awk内置变量

------------------------------------------------------

ARGC
命令行参数个数

ARGV
命令行参数排列

ENVIRON
支持队列中系统环境变量的使用

FILENAME
awk浏览的文件名

FNR
浏览文件的记录数

FS
设置输入域分隔符,等价于命令行-F选项

NF
浏览记录的域个数

NR
已读的记录数

OFS
输出域分隔符

ORS
输出记录分隔符

RS
控制记录分隔符

注:awk中所采用的正则表达式的符号要比grep和sed多两个:+(匹配一个或多个字符),?(匹配模式出现率)

例:

awk
'{if($4~/Brown/) print $0}' grade.txt 如果field-4包含了Brwon,打印该行

awk
'$3 == "48" {print $0}' grade.txt 精确匹配,如果field-3等于了"48",则打印该行

awk
'{if( $1=="p1" && $4=="p2" ) print $0}'
grade.txt 同时满足两个条件,则打印该行

awk
'{if( $1=="p1" || $4=="p2" ) print $0}' grade.txt
只要满足其中一个条件,则打印该行

(14)expr
用于计算或数值测试

格式:expr
argument operator argument

例:expr
10 + 10 其结果为20

expr
30 / 3 其结果为10

expr
30 \* 3 其结果为90,使用乘号时,必须用反斜线屏蔽其特定含义。

expr
rr + 1 当rr非整数时,将返回错误,此处为"expr:non-numeric
argument"

2.文件名的匹配

特殊的匹配符号:

*
匹配文件名中的任何字符串,包括空字符串

?
匹配文件名中的任何单个字符串

[...]
匹配[]中包含的任何字符

[!...]
匹配[]中非感吧号!之后的字符

例:

显示所有以.doc结尾的文件名

ls
*.doc

显示以cl开头,后面跟任何字符串,最后以.sed结尾的文件名

ls
cl*.sed

显示任意两个字符开头,接着是r,后面跟任何字符的文件

ls
??r*

显示以i或o开头的文件名

ls
[io]*

匹配所有以log.开头,后面跟随一个数字,然后可以是任意字符串的文件名

ls
log.[0-9]*

匹配所有以log.开头,使用[!0-9]来表示非数字开头的字符串

ls
log.[0-9]*

3.文本过滤

===============================================================================

基本元字符集及其含义

===============================================================================

^
只匹配行首

$
只匹配行尾

*
一个单字符后紧跟*,匹配0个或多个此单字符

[]
匹配[]内字符。可以是一个单字符,也可以是字符序列,用-表示范围

如用[1-5]代替[12345]

\
用来屏蔽一个元字符的特殊含义。如$
. ' " * ^ | ( ) \ + ?

.
匹配任意单字符

pattern\{n\}
用来匹配前面pattern出现次数。n为次数

pattern\{n,\}m
含义同上,但次数最少为n

pattern\{n,m\}
含义同上,但pattern出现次数在n与m之间

===============================================================================

例:

^$
匹配一个空行

^.$
匹配只包含一个字符的行

compu*t
匹配字符u
0次或多次,这个可匹配computer,

A\{2\}B
匹配字母A出现两次,并以B结尾

A\{2,4\}B
匹配字母A出现2到4次之间

4.特定shell变量

===============================================================================

$#
传递到脚本的参数个数

$*
以一个单字符串显示所有向脚本传递的参数。与位置变量不同,此选项参数可超过9个

$$
脚本运行的当前进程ID号

$!
后台运行的最后一个进程的进程ID号

$@
与$#相同,但是使用时加引号,并在引号中返回每个参数

$-
显示shell使用的当前选项,与set命令功能相同

$?
显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误

===============================================================================

其他:$0(脚本名字)
$1 $2 $3 ...$9

5.shell输入与输出

5.1文件描述符

===============================================================================

文件描述符文件

0
输入文件——标准输入

1
输出文件——标准输出

2
错误输出文件——标准错误

===============================================================================

注:标准输入是文件描述符0,它是命令的输入,缺省是键盘,也可以是文件或其他命令的输出

标准输出是文件描述符1,它是命令的输出,缺省是屏幕,也可以是文件

标准错误是文件描述符2,它是命令错误的输出,缺省是屏幕,也可以是文件

5.2
重定向:<,<<,>,>>

===============================================================================

command>filename
把标准输出重定向到一个新文件中

command>>filename
把标准输出重定向到一个文件中(追加)

command
1>filename 把标准输出重定向到一个新文件中

command>filename
2>&1 把标准输出和标准错误一起重定向到一个文件中

command
2>filename 把标准错误重定向到一个新文件中

command
2>>filename 把标准错误重定向到一个文件中(追加)

command
>>filename 2>&1 把标准输出和标准错误一起重定向到一个文件中(追加)

command
<filename >filename 2
command命令以filename文件作为标准输入,以filename2文件作为标准输出

command
<&m 把文件描述符m作为标准输入

command
>&m 把标准输出重定向到文件描述符m中

command
<&- 关闭标准输入

===============================================================================

例:

#############################################################################

#!
/bin/sh

#
f_desc

#把文件描述符4指定为标准输入,然后打开stock.txt文件

exec
4<&0 0<stock.txt

#读入2行文本

read
line1

read
line2

#作为标准输入的文件描述符4被关闭

exec
0<&4

#显示两个变量的内容

echo
&line1

echo
&line2

#############################################################################

5.3管道:
命令1|命令2

who
| awk '{print $1"\t"$2}'

6.条件测试

格式1:test
condition

格式2:[condition]

===============================================================================

文件测试状态

===============================================================================

-d
目录-s
文件长度大于0,非空

-f
正规文件-w
可写

-l
符号链接-u
文件有suid位设置

-r
可读-x
可执行

===============================================================================

组合测试:-a
逻辑与-o逻辑或!逻辑否

例:[-w
results.txt -a -w scores.txt

echo
$?

检查上面两个文件是不是都是可写的

字符串测试string_operator
可为=(相等)
!=(不相等)
-z(空串)
-n(非空串)

格式1:test
"string"

格式2:test
string_operator "string"

格式3:test
"string" string_operator "string"

格式4:[string_operator
string]

格式5:[string
string_operator string]

数值测试numeric_operator可为-eq(相等),-ne(不相等),-gt(大于),-lt(小于),-le(小于等于),-ge(大于等于)

格式1:"number"
numeric_operator "number"

格式2:["number"
numeric_operator "number"]

7.命令执行顺序&&
,||, (), {}

&&

格式:命令1
&& 命令2

说明:命令1返回真(即返回0,成功被执行)后,命令2才能够被执行

例:/apps/bin目录将会被移到/apps/dev/bin目录下,如果它没有被成功的执行,就不会删除/apps/bin目录

mv
/apps/bin /apps/dev/bin && rm -r /apps/bin

||

格式:命令1
|| 命令2

说明:命令1未执行成功,那么就执行命令2

例:拷贝文件没成功的话,就显示错误.

cp
word.txt word.bak || echo "cp file failed!"

()
{}

格式:(命令1;命令2;...)
{命令1;命令2;...}

8.控制流结构if...then...else...fi,case,for,until,while,break,continue

1)返回码

观察:echo
$?

退出:exit
n (n为一数字)

break
n ==>跳出指定的循环个数。如break
2则跳出2个循环

continue
==>跳出循环当前步

2)流控制if...then...else...fi

if
condition1

then

command1

elif
condition2

then

command2

else

command3

fi

例1:

##############################################

#!
/bin/sh

#
ifwr

LOGFILE=test.txt

echo
$LOGFILE

if
[ ! -w "$LOGFILE" ]; then

echo
"You cannot write to $LOGFILE " >&2

fi

##############################################

例2:

##############################################

#!
/bin/sh

#
ifcp

#下面用2>&1重定向标准错误,去除了系统产生的错误和系统输出

if
cp myfile myfile.bak >/dev/null 2>&1 ; then

echo
"good copy"

else

echo
"`basename $0`:error could not copy the files " >&2

fi

##############################################

例3:

##############################################

#!
/bin/sh

#
ifcp

#将脚本参数传入系统命令

#此处检测目录是否为空

DIRECTORY=$1

if
[ "`ls -A $DIRECTORY`" = ""] ; then #也可用if
[$# -lt 1] 来代替判断语句

echo
"$DIRECTORY is indeed empty"

else

echo
"$DIRECTORY is not empty " >&2

fi

##############################################

例4:

##############################################

#!
/bin/sh

#
ifmkdir

#将脚本参数传入系统命令

#此处检测目录是否为空

DIRECTORY=$1

if
[ "$DIRECTORY" = ""] ; then

echo
"Usage: `basename $0` directory to create"

exit
1

fi

if
[ -d $DIRECTORY ]

then
: # do nothing

else

echo
"The directory does exist"

echo
-n "Create it now? [y..n] :"

read
ANS

if
[ "$ANS" = "y" ] || [ "$ANS" = "Y"
]

then

echo
"creating now"

mkdir
$DIRECTORY >/dev/null 2>&1

if
[ $? != 0 ]; then

echo
"Errors createing the directory $DIRECTORY" >&2

exit
1

fi

else
: # do nothing

fi

fi

##############################################

3)case控制流

case语句为多选择语句。可以用case语句匹配一个值与一个模式,如果匹配成功,执行相匹配的命令。

格式:

==========================================================================

case
值in

模式1)

命令1

....

;;

模式2)

命令2

....

;;

esac

==========================================================================

注:每一模式必须以右括号结束,取值可以为变量或常数。

匹配发现取值符合某一模式后,其间所有命令开始执行直至“;;”

取值将检测匹配每一个模式,一旦模式匹配,则执行完匹配模式相应命令后不再继续其他模式。

如果无一匹配模式,使用星号*捕获该值,再接受其他输入

模式部分可能包括元字符,与在命令行文件扩展名例子中使用过的匹配模式类型相同,即

*(任意字符),?(任意单字符),[..](类或范围中任意字符)

例1:

##############################################

#!
/bin/sh

#
caseterm

echo
"choices are..vt100,vt102,vt220"

echo
-n "enter your terminal type :"

read
TERMINAL

case
$TERMINAL in

vt100|vt102)
TERM=vt100

;;

vt220)
TERM=vt220

;;

*)
echo "`basename $0`:Unknow response" >&2

echo
"setting it to vt100 anyway,so there"

TERM=vt100

;;

esac

export
TERM

echo
"Your terminal is set to $TERM"

##############################################

例2:

##############################################

#!
/bin/sh

#
caseparam

if
[ $# !=1 ] ; then

echo
"Usage:`basename $0` [start|stop|help]" >&2

exit
1

fi

#assign
the parameter to the variable OPT

OPT=$1

case
$OPT in

start)
echo "starting..`basename $0`"

;;

stop)
echo "stopping..`basename $0`"

;;

help)

;;

*)
echo "Usage:`basename $0` [start|stop|help]"

;;

esac

##############################################

4)循环

for格式

==========================================================================

for
变量名in 列表

do

命令1

命令2

.....

命令n

done

==========================================================================

注:列表可以包含替换,字符串和文件名

例1:

##############################################

#!
/bin/sh

#
for_i

for
loop in 1 2 3 4 5 #for loop in "orange red blue grey"

do

echo
$loop

done

##############################################

例2:

##############################################

#!
/bin/sh

#
for_ls

for
loop in `ls `

do

echo
$loop

done

##############################################

例3:

#for
params,不使用in列表选项时,实际上等价于

#for
params in "$@" 或

#for
params in "$*"

##############################################

#!
/bin/sh

#
for_param

for
loop in "$@" # 也可以是"$*,"
这可以从命令行中取得参数

do

echo
$loop

done

##############################################

until(不常用)格式

==========================================================================

until
条件

do

命令1

命令2

.....

命令n

done

==========================================================================

例1:监视文件系统容量,当它达到一定水平时通知超级用户

##############################################

#!
/bin/sh

#
until_mon

LOOK_OUT=`df
| grep /logs | awk '{print $5}' | sed 's/%//g'`

echo
$LOOK_OUT

until
["$LOOK_OUT" -gt "90" ]

do

echo
"Filesystem..logs is nearly full" | mail root

exit
0

done

##############################################

while格式

==========================================================================

while
命令

do

命令1

命令2

.....

命令n

done

==========================================================================

例1:从文件中读取数据,使用重定向以保证从文件中读取数据

#########################################################################

#!
/bin/sh | SAVEDIFS=$IFS

#
whileread | IFS=:

while
read LINE | while read NAME DEPT ID

do
| do

echo
$LINE | echo -e "$NAME\t $DEPT\t $ID"

done
<names.txt | done <names.txt

|
IFS=$SAVEDIFS

#########################################################################

上面右边使用IFS将域分隔符改为;号而不是空格或tab键

测试数据names.txt:

Louise
Conrad:Accounts:Acc889

Peter
James:Payroll:PR483

#########################################################################

死循环格式

while
:

do

命令

done

例2:

#########################################################################

#!
/bin/sh

#
menu

#set
the date,user and hostname up

MYDATE=`date
+%d/%m/%Y`

THIS_HOST=`hostname
-s`

USER=`whoami`

#loop
forever !

while
:

do

#
clear the screen

tput
clear

#
here documents starts here

cat
<<MAYDAY

---------------------------------------------------------------------------

User:$USER
Host:$THIS_HOST Date:$MYDATE

---------------------------------------------------------------------------

1
: List files in current directory

2
: Use the vi editor

3
: See who is on the system

H
: Help screen

Q
: Exit Menu

---------------------------------------------------------------------------

MADAY

#
here document finished

echo
-e "\tYour Choice [1,2,3,H,Q] >"

read
CHOICE

case
$CHOICE in

1)
ls

;;

2)
vi

;;

3)
who

;;

H|h)

cat
<<MAYDAY

this
is the help screen,nothing here yet to help you !

MAYDAY

;;

Q|q)
exit 0

;;

*)
echo -e "\t\007Unknown user response"

;;

esac

echo
-e -n "\tHit the return key to continue"

read
DUMMY

done

#########################################################################

等我总结完了,后面又翻了一本书《Linux
编程命令详解》第二版,Richard
Petersen著,梁普选,刘玉芬等译,2001年由电子工业出版社出版的,这本书总结得更好了。呵呵,看来,凡事都是有个过程的。

===================================================================

特殊符号的总结

1、{}
大括号:

用法一:通配符扩展

eg:
ls my_{finger,toe}s

这条命令相当于如下命令的组合:

ls
my_fingers my_toes

eg:
mkdir {userA,userB,userC}-{home,bin,data}

我们将得到userA-home,
userA-bin, userA-data, userB-home, userB-bin,userB-data,userC-home,
userC-bin, userC-data,这几个目录

用法二:可用于语句块的构造,语句之间用回车隔开。如果你想在某些使用单个语句的地方(比如在AND或OR列表中)使用多条语句,你可以把它们括在花括号{}中来构造一个语句块。

eg:

{

grep
-v "$cdcatnum" $strack_file > $temp_file

cat
$temp_file > $strack_file

echo

cat
-n file1

}
(注:以上大括号中的四句命令够成了一个语句块)

用法三:参数扩展

${name:-default}
使用一个默认值(一般是空值)来代替那些空的或者没有赋值的变量name;

${name:=default}使用指定值来代替空的或者没有赋值的变量name;

${name:?message}如果变量为空或者未赋值,那么就会显示出错误信息并中止脚本的执行同时返回退出码1。

${#name}
给出name的长度

${name%word}
从name的尾部开始删除与word匹配的最小部分,然后返回剩余部分

${name%%word}
从name的尾部开始删除与word匹配的最长部分,然后返回剩余部分

${name#word}
从name的头部开始删除与word匹配的最小部分,然后返回剩余部分

${name##word}
从name的头部开始删除与word匹配的最长部分,然后返回剩余部分

(注,name为变量名,word为要匹配的字符串)

用法三在处理字符串和未知变量时,是很有用的。

2、[]
中括号:

用法一:通配符扩展:

允许匹配方括号中任何一个单个字符

eg:
ls /[eh][to][cm]*

相当于执行ls
/etc /home(若有/eom目录,就相当于会执行ls
/etc /home /eom)

注:在mkdir命令下不能扩展

用法二:用于条件判断符号:

[]符号可理解为指向test命令的一个软链接,所以其用法可完全参照test,将test位置替换为[便可。

eg:
if [ "$?" != 0 ] 等价于if
test "$?" != 0

then
echo "Executes error"

3、`command`
反引号:`command`与$(command)的含义相同,都是返回当前执行命令的结果

eg:
#!/bin/sh

for
file in $(ls f*.sh);do

lpr
$file

done

exit
0

该例实现了扩展f*.sh给出所有匹配模式的文件的名字。

4、'string'
单引号和"string"
双引号

双引号:如果想在定义的变量中加入空格,就必须使用单引号或双引号,

单、双引号的区别在于双引号转义特殊字符而单引号不转义特殊字符

eg:
$ heyyou=home

$
echo '$heyyou'

$
$heyyou ($没有转义)

eg:
$ heyyou=home

$
echo "$heyyou"

$
home (很明显,$转义了输出了heyyou变量的值)

5、$#
它的作用是告诉你引用变量的总数量是多少;

$$
它的作用是告诉你shell脚本的进程号;

$*
以一个单字符串显示所有的脚本传递的参数。等价于$1
$2 $3.......;

$@
与$*基本类似(参见序号7),但在数组赋值时有些不同;

$?
前一个命令的退出码;

$-
显示shell使用的当前选项;

$!
最后一个后台运行的进程ID号。

6、$((...))
语法:对括号内的表达式求值(fantaxy注:千万别乱加入空格)

eg:

#!/bin/sh

x=0

hile
[ "$x" -ne 10 ];do

echo
$x

x=$(($x+1))

done

exit
0

7、shell中几种特殊的参数变量的引用

$1、$2、$3……${10}、${11}、${12}……
:表示脚本传入的的各个参数,注意当需表示两位数以后的参数时数字要用花括号括起。

$@
列出所有的参数,各参数用空格隔开

$*:
列出所有的参数,各参数用环境变量IFS的第一个字符隔开

8、命令列表:

AND列表statement1
&& statement2 && statement3 &&
…:只有在前面所有的命令都执行成功的情况下才执行后一条命令

OR列表statement1
|| statement2 || statement3 ||
…:允许执行一系列命令直到有一条命令成功为止,其后所有命令将不再被执行

eg:#!/bin/sh

touch
file_one

rm
-f file_two

if
[ -f file_one ] && echo "hello" && [ -f
file_two ] && echo " there"

then

echo "in if"

else

echo "in else"

fi

exit
0

上例的输出为:

hello

in
else

关于AND列表与OR列表,在逻辑判断中很使用,下面就举一个其最常用的例子:

[
condition ] && command for true || command for false:

当条件为真时,执行commandfor
true ,当条件为假时,执行command
for false

9、:
冒号:内建空指令,返回值为0

eg:
$ :

$
echo $?

$
0

while:
(该语句结构可实现一个无限循环)

10、;
分号:
在shell
中,担任"连续指令"功能的符号就是"分号"

eg:cd
~/backup ; mkdir startup ; cp ~/.* startup/.

11、#
井号:表示符号后面的是注解文字,不会被执行;

*
匹配文件名中的任何字符,包括字符串;

?匹配文件名中的任何单个字符。

~
代表使用者的home
目录

12、\
倒斜线:放在指令前,有取消aliases(别名)的作用;放在特殊符号前,则该特殊符号的作用消失;放在指令

的最末端,表示指令连接下一行(使得回车符无效,只起换行作用)

14、!
感叹号:通常它代表反逻辑的作用,譬如条件侦测中,用!=
来代表"不等于"

15、**
次方运算:两个星号在运算时代表"次方"
的意思

eg:let
"sus=2**3"

echo
"sus = $sus"

$
sus = 8