各个项目以实践为主。原理及更多细节介绍,请查看官方文档:
例如:bash,grub,postfix,pam,fastcgi,httpd,rsync等诸多项目。
各种总结表格
http://www.cnblogs.com/xkfz007/archive/2012/02/02/2336318.html
http://blog.sina.com.cn/s/blog_6bd7d943010151a1.html
shell 彩色化更改
/etc/DIR_COLORS,具体看文件,一看就懂了
A,dircolors -p > ~/.dircolors
B,cp /etc/DIR_COLORS ~/.dircolors
http://www.linuxsir.org/bbs/thread112305.html 控制台彩色更改
fbterm,setterm,xterm
传递参数
通过脚本里的变量传递参数
通过命令行传递参数
通过固定的一个文件传递参数
cat -A显示所有不可见字符
[root@250-shiyan sh]# cat -A mylsfile
check-root.sh$
efii^I^Ith.sh$
for.sh$
ser.sh$
脚本的本质
只关心输入与输出,在一个脚本中,看有几个输出,每个输出是否有响应(输入),便可以很好的理解脚本的作用
界面与编辑器
行编辑器,vi 屏幕编辑器,sed 文本流编辑器
cli 命令行界面,tui 类似于setup或编译内核时的界面,gui 图形界面
脚本文件与可执行文件(二进制文件)
[root@localhost bin]# file /sbin/* |grep script
[root@localhost bin]# file /bin/* |grep script
[root@localhost bin]# file /usr/sbin/* |grep script
[root@localhost bin]# file /usr/bin/* |grep script
只有以下四种脚本类型
c99: POSIX shell script text executable
ldd: Bourne-Again shell script text executable
pydoc: a /usr/bin/python2.6 script text executable
urlgrabber: a /usr/bin/python -t script text executable
yum: a /usr/bin/python script text executable
两种学习方式
你想学习shell脚本编程,这很不错。于是你拿了一本书开始学习。一些人会首先通读整本教材后再上机练习。这种方法可能适用于一些人,但我却不太看好它。
我的建议是,仅仅学一些最基础的能够让你开始编码的知识就可以了。之后,动手写一些简单的程序吧。一旦你由于知识上的欠缺而不得不停止时,再回到书本上去读你想要了解的那部分,
然后继续做你的项目。如此周而复始,不断提高你的水平。这种边学边做的方法曾让我受益良多。
三种脚本执行方式(4种)
1 source bash_profile . bash_profile两者等效 不需要执行权限
2 bash bash_profile 不需要执行权限
3 ./filename 需要执行权限
一般的脚本文件是新产生一个子shell,然后在其下执行命令,一般是在脚本文件前加入#!/bin/bash这一行
实验证明写脚本时加不加#!/bin/bash这一行没有关系。
source命令即点命令,在当前进程中执行脚本文件中的各个命令,不产生新的shell(sub-shell)
source从c-shell而来,点命令从bourne-shell而来,二者等效。
当前脚本中设置的变量也将作为脚本的环境,source和点通常用于重新执行刚修改的初始化文件,如.bash_profile等
source命令通常用于重新执行刚修改的初始化文件,使之立即生效,而不必注销并重新登录。
bash scriptfiles 不需要执行权限 产生子shell。
source scriptfiles 不需要执行权限 不产生子shell,在本shell中执行的。
. scriptfiles 不需要执行权限 不产生子shell,在本shell中执行的。
scriptfiles scriptfiles需要执行权限,还需要将此文件放入PATH中才可以,否则要使用绝对路径。是在子shell中运行的,结果不影响父shell
脚本文件与source和点的区别
脚本文件启动子shell来执行命令,这样如果把设置环境变量的命令写入脚本中,就只会影响子shell,无法改变当前shell,所以通过文件设置变量时,要用source命令。
source filename 与 sh filename 及./filename执行脚本的区别在那里呢?
1.当shell脚本具有可执行权限时,用sh filename与./filename执行脚本是没有区别得。./filename是因为当前目录没有在PATH中,所有"."是用来表示当前目录的。
2.sh filename 重新建立一个子shell,在子shell中执行脚本里面的语句,该子shell继承父shell的环境变量,但子shell新建的、改变的变量不会被带回父shell,除非使用export。
3.source filename:这个命令其实只是简单地读取脚本里面的语句依次在当前shell里面执行,没有建立新的子shell。那么脚本里面所有新建、改变变量的语句都会保存在当前shell里面。
举例说明:
1.新建一个test.sh脚本,内容为:A=1
2.运行sh test.sh后,echo $A,显示为空,因为A=1并未传回给当前shell
3.或者chmod 777 test.sh,并且cp test.sh /bin/这样便可以在搜索路径中找到,直接执行了
4.运行test.sh后,也是一样的效果
5.运行source test.sh 或者 . test.sh,然后echo $A,则会显示1,说明A=1的变量在当前shell中
[root@250-shiyan sh]# cat pstr 可以一边观察进程的产生,一边执行脚本
#!/bin/bash
while sleep 2
do
pstree
done
[root@109-com1 asterisk]# while sleep 2; do pstree;done
[root@109-com1 ~]# while sleep 1;do echo `/usr/sbin/ss -n|grep ESTAB|awk '($2 && $3)!~/0/{printf $0}'`;done
七种文件类型
shell中的常规文件是指-rwxrwxrwx,有减号就是
#stat 文件名 便可以看出 有regular file标志的就是
文件类型对应于上面的st_mode, 文件类型有很多,比如常规文件、符号链接(硬链接、软链接)、管道文件、设备文件(符号设备、块设备)、socket文件等,不同的文件类型对应不同的功能和作用。
-常规文件,d目录,l符号链接,b块设备,c字符设备,s套接字,p管道
每一种文件都可以用相应的命令创建,如
touch a 创建常规文件
mkdir a 创建目录
ln -s a 创建链接
mkfifo 创建命名管道
MAKEDEV 创建设备文件 包含在包MAKEDEV中
mksock 创建套接字文件 包含在包MAKEDEV中
管道分为有名管道与无名管道
无名就是在当前shell中类似grep root /etc/passwd | wc -l这种方式
有名可以在两个终端之间协同工作,例如在一个终端mkfifo aa;ifconfig > aa。在另一个终端接收管道传过来的流,即tail -f aa
shell通配符 ? ,*, {strings1,strings2,...}, [list], [!list], [^list], [c1-c2]
shell元字符
shell转义符
四个引用符号 " ' ` \
为防止shell解释一些东西,所以就有了引用,四种符号 " ' ` \
双引、单引和反引号
使用反斜线实现屏蔽,转义。反斜线引用单个字符时,称它为转义字符
双引号除$ ` \ 三种符号外,引用所有内容,称为弱引用
[root@localhost script]# echo "$TERM pwd "
xterm pwd
[root@localhost script]# echo "`ls` pwd "
passwd
user pwd
[root@localhost script]# echo "\`ls\` pwd "
`ls` pwd
单引号引用所有内容,没有字符拥有特殊含义,称为强引用
反引号
shell试图替代单词hello为系统命令并执行它,因为hello脚本或命令不存在,返回错误信息。
[root@localhost script]# echo `hello`
-bash: hello: command not found
[root@localhost script]# echo `date`
Mon Dec 30 18:08:21 CST 2013
[root@250-shiyan sh]# echo "who "fi""
who fi
[root@250-shiyan sh]# echo "who \"fi\""
who "fi"
命令替换看后两例子
命令替换两种形式
$(command)或`command`
filelist=`ls -al`
echo $filelist # put contents of the file into a varible
filecontent=`cat export.txt`
echo $filecontent # produce a varible from a loop
var1=`for i in
do
echo -n $i # this echo is very important
done`
echo $var1 i=
var2=`while [ $i -le ]
do
echo -n $i #this echo is very important
i=$((i+))
done`
echo $var2 word_count=$( wc -w $(ls -l | awk '{print $9}') )
echo $word_count word_count=`wc -w \`ls -l | awk '{print $9}'\`` # 反引号也可以嵌套替换,但是需要通过\进行转意
echo $word_count
四个shell命令执行顺序符号 &&,||,(),{}
&&运算符:
command1 && command2
&&左边的命令(命令1)返回真(即返回0,成功被执行)后,&&右边的命令(命令2)才能够被执行;换句话说,“如果这个命令执行成功&&那么执行这个命令”。
(cmd1;cmd2;...;cmdN) # 在一个子shell里执行一组命令
{cmd1;cmd2;...;cmdN} # 在当前shell里执行一组命令
||运算符:
command1 || command2
||则与&&相反。如果||左边的命令(命令1)未执行成功,那么就执行||右边的命令(命令2);或者换句话说,“如果这个命令执行失败了||那么就执行这个命令。
()运算符:
为了在子shell中执行一组命令,可以用命令分隔符(即",")隔开每一个命令,并把所有的命令用圆括号()括起来。
{}运算符:
如果使用{}来代替(),那么相应的命令将在当前shell中作为一个整体被执行。
$ A=1;echo $A;{ A=2; };echo $A
1
2
$ A=1;echo $A;( A=2; );echo $A
1
1
{ A=2; }改变了当前shell变量的值
( A=2; )未改变当前shell变量的值
四种变量类型
环境变量(也叫shell变量) 是一类Shell预定义变量。环境变量由系统统一命名,全部大写。部分系统变量的值由系统设定,部分环境变量的值可以由用户给定。由export关键字处理过的变量叫做环境变量。因为通常情况下仅仅在登录脚本中使用环境变量。
位置变量(也叫shell参数) 函数,脚本等都需要参数,就是用来获得这些参数的。相当于其它编程语言的形参
$0 $1 $2 $3 $4 $5 $6 $7 $8 $9
特殊变量(预定义变量) $! $* $# $? $$ $@
自定义变量
五种变量赋值方法:使用read命令,直接赋值,使用命令行参数,使用命令行的输出结果,从文件读取。
变量括号
变量名=值
取出变量值可以加一个美元符号($)在变量前面
变量名不可以直接和其他字符相连,如果想相连,必须用括号:
#num=2
#echo “this is $(num)nd!”
env与set的区别
env用于显示用户环境区中的变量及其取值;set用于显示本地数据区和用户环境区中的变量及其取值;unset用于删除指定变量当前的取值,该值将被指定为NULL;export命令用于将本地数据区中的变量转移到用户环境区。
新的变量会在本地数据区分配内存进行存储,这个变量归当前的Shell所有,任何子进 程都不能访问本地变量。这些变量与环境变量不同,环境变量被存储在另一内存区,叫做用户环境区,这块内存中的变量可以被子进程访问
env(查看全局环境变量)
set(显示为某个特定进程设置的所有环境变量,包括全局变量,剩下的为局部变量)
登录shell 优先级在tty与pts中是不一样的 http://blog.csdn.net/zlm_250/article/details/7949415
1./etc/profile
2./etc/profile.d/*.sh
3.$HOME/.bash_profile
4.$HOME/.bash_login 如果有的话
5.$HOME/.profile 如果有的话
6.$HOME/.bashrc
7./etc/bashrc
8.$HOME/.bash_logout
tty中的顺序是 1-2-3-5-6-7-8
pts中的顺序是 1-3-5
会从4个不同的启动文件里读取命令,顺序依次为:/etc/profile -> /etc/profile.d/*.sh -> (~/.bash_profile | ~/.bash_login | ~/.profile) -> ~/.bashrc -> /etc/bashrc -> ~/.bash_logout
$HOME/.profile中会检查系统上有没有$HOME/.bashrc文件,如果有则执行
(1) /etc/profile: 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行. 并从/etc/profile.d目录的配置文件中搜集shell的设置。
(2) /etc/bashrc: 为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取(即每次新开一个终端,都会执行bashrc)。
(3) ~/.bash_profile: 每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次。默认情况下,设置一些环境变量,执行用户的.bashrc文件。
~/.bash_profile: 是交互式、login 方式进入 bash 运行的~/.bashrc 是交互式 non-login 方式进入 bash 运行的通常二者设置大致相同,所以通常前者会调用后者。
(4) ~/.bashrc: 该文件包含专用于你的bash shell的bash信息,当登录时以及每次打开新的shell时,该该文件被读取。
(5) ~/.bash_logout: 当每次退出系统(退出bash shell)时,执行该文件. 另外,/etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承 /etc/profile中的变量,他们是"父子"关系。
在以上文件之中第二行分别写上一句echo “”(用以区分不同的文件),然后退出当前shell,重新登录,便可看出执行顺序。
RETVAL=$? 是将前面的执行结果赋给retval
没有规定在设置变量时一定要用双引号,但在进行字符串比较时必须这样做
当使用字符时,应总是使用双引号,无论它是单个字符串或是多个单词。
对当前路径的处理——$PWD, 但此值随cd指令而变,因此建议保存在另一个变量中
#!/bin/bash
a="$PWD"
echo $a
ls $a
command line
command options arguments
options ,执行任务的方式,控制命令的动作,选项也称开关switches或者标志flags
arguments ,指定命令使用的数据
空白符,使用空格和制表符作为分隔符的思想,是如此的重要,所以他们有自己的名称,空白符
space,制表符,新行字符(Carriage Return回车符)
[root@localhost script]# set |grep IFS
IFS=$' \t\n'
\n newline 新行字符
\r return 回车符
\t tab 制表符
使用者每输入一个键,cursor 就往后移动一格,直到碰到命令行读进 CR(Carriage Return,由 Enter 键产生)字符为止
所谓的命令行,就是在 shell prompt 与 CR 字符之间所输入的文字。
若从技术细节来看,shell 会依据 IFS(Internal Field Seperator) 将 command line 所输入的文字给拆解为"字段"(word)。
然后再针对特殊字符(meta)先作处理,最后再重组整行 command line 。
其中的 IFS 是 shell 预设使用的字段分隔符,可以由一个及多个如下按键组成:
* 空格键(White Space)
* 制表键(Tab)
* 回车键(Enter)
系统可接受的命令名称(command-name)可以从如下途径获得:
* 明确路径所指定的外部命令
* 命令别名(alias)
* 自定功能(function)
* shell 内建命令(built-in)
* $PATH 之下的外部命令
每一个命令行均必需含有命令名称,这是不能缺少的。
简单而言(我不敢说这是精确的定义,注一),command line 的每一个字符,分为如下两种:
* literal:也就是普通字符,对 shell 来说没特殊功能。
* meta:对 shell 来说,具有特定功能的特殊保留字符。
IFS space,tab,enter
CR carriage return
= $ >等
IFS 是用来拆解 command line 的每一个词(word)用的,因为 shell command line 是按词来处理的。
而 CR 则是用来结束 command line 用的。
命令名 | 选项 | 参数 | |
getconf | -a | |grep "PAGE" | |
tune2fs | -l | /dev/sda1 | |grep "Block" |
readelf | -a | /usr/bin/tee | |
pmap | -x | 16441 | |
size | /usr/bin/tee | ||
tar | zxvf | *.tar.gz | |
blockdev | --report | ||
fdisk | -l | ||
stat | /boot | ||
sar | -n DEV | 1 | |
du | -sh | /var/log | |
df | -h | |column -t |
命令名 | 正则 | 通配 |
ls | * | |
grep | * | * |
find | * | |
sed | * | |
awk | * |
bash -v引起的问题
另外在测试source运行脚本时,有些误操作,导致在执行命令时,都会首先输出一下当前运行命令。
如下所示:
[u1@localhost performance]$ cd tools/
cd tools/
[u1@localhost tools]$ cd ..
cd ..
[u1@localhost performance]$
看起来实在是有点多余,作为一个有轻微洁癖的人,当然想办法要消除它。不过一时竟不知如何下手,而且这个现象也不好描述,就算想google也不行呀。
不过我看到另外打开的一个section是没有这个问题的,因此想到对比两个section的env。
一对比还真发现有些不同,SHLVL这个变量正常的section为1,会首先输出执行命令的section为3。
所以怀疑到是在section运行了bash的原因,在会首先输出执行命令section里面连续输入两次exit之后,现象消失了。
再次在该section里面输入bash,并没有重现之前的现象。
运行bash –help看了一下,怀疑是bash –v/—verbose的原因。再次尝试输入bash -v,现象重现。
前后花了不少时间,藉此记录一下~
服务列表
有后台进程 | 只有内核模块,无后台进程 |
sshd | lvs |
httpd | iptables |
crond | |
vnc | |
nfsd | |
udevd | |
rsyslogd | |
auditd | |