shell知识点

时间:2022-01-15 05:51:26

各个项目以实践为主。原理及更多细节介绍,请查看官方文档:

例如:bash,grub,postfix,pam,fastcgi,httpd,rsync等诸多项目。

各种总结表格

http://www.cnblogs.com/xkfz007/archive/2012/02/02/2336318.html

http://blog.sina.com.cn/s/blog_6bd7d943010151a1.html

Linux下产生随机密码的10方法

shell 彩色化更改

/etc/DIR_COLORS,具体看文件,一看就懂了

A,dircolors -p > ~/.dircolors
B,cp /etc/DIR_COLORS ~/.dircolors

http://www.linuxsir.org/bbs/thread112305.html   控制台彩色更改

fbterm,setterm,xterm

传递参数

通过脚本里的变量传递参数

通过命令行传递参数

通过固定的一个文件传递参数

cat -A显示所有不可见字符

[root@250-shiyan sh]# cat -A mylsfile
check-root.sh$
efii^I^Ith.sh$
for.sh$
ser.sh$

脚本的本质

只关心输入与输出,在一个脚本中,看有几个输出,每个输出是否有响应(输入),便可以很好的理解脚本的作用

界面与编辑器

行编辑器,vi 屏幕编辑器,sed 文本流编辑器

cli 命令行界面,tui 类似于setup或编译内核时的界面,gui 图形界面

脚本文件与可执行文件(二进制文件)
[root@localhost bin]# file /sbin/* |grep script
[root@localhost bin]# file /bin/* |grep script
[root@localhost bin]# file /usr/sbin/* |grep script
[root@localhost bin]# file /usr/bin/* |grep script
只有以下四种脚本类型
c99:                     POSIX shell script text executable
ldd:                     Bourne-Again shell script text executable
pydoc:                   a /usr/bin/python2.6 script text executable
urlgrabber:              a /usr/bin/python -t script text executable
yum:                     a /usr/bin/python script text executable

两种学习方式
你想学习shell脚本编程,这很不错。于是你拿了一本书开始学习。一些人会首先通读整本教材后再上机练习。这种方法可能适用于一些人,但我却不太看好它。
我的建议是,仅仅学一些最基础的能够让你开始编码的知识就可以了。之后,动手写一些简单的程序吧。一旦你由于知识上的欠缺而不得不停止时,再回到书本上去读你想要了解的那部分,
然后继续做你的项目。如此周而复始,不断提高你的水平。这种边学边做的方法曾让我受益良多。

三种脚本执行方式(4种)
1 source bash_profile   . bash_profile两者等效   不需要执行权限
2 bash bash_profile   不需要执行权限
3 ./filename          需要执行权限

一般的脚本文件是新产生一个子shell,然后在其下执行命令,一般是在脚本文件前加入#!/bin/bash这一行
实验证明写脚本时加不加#!/bin/bash这一行没有关系。
source命令即点命令,在当前进程中执行脚本文件中的各个命令,不产生新的shell(sub-shell)
source从c-shell而来,点命令从bourne-shell而来,二者等效。
当前脚本中设置的变量也将作为脚本的环境,source和点通常用于重新执行刚修改的初始化文件,如.bash_profile等

source命令通常用于重新执行刚修改的初始化文件,使之立即生效,而不必注销并重新登录。

bash scriptfiles        不需要执行权限 产生子shell。
source scriptfiles        不需要执行权限 不产生子shell,在本shell中执行的。
. scriptfiles            不需要执行权限 不产生子shell,在本shell中执行的。
scriptfiles            scriptfiles需要执行权限,还需要将此文件放入PATH中才可以,否则要使用绝对路径。是在子shell中运行的,结果不影响父shell
脚本文件与source和点的区别
脚本文件启动子shell来执行命令,这样如果把设置环境变量的命令写入脚本中,就只会影响子shell,无法改变当前shell,所以通过文件设置变量时,要用source命令。

source filename 与 sh filename 及./filename执行脚本的区别在那里呢?
1.当shell脚本具有可执行权限时,用sh filename与./filename执行脚本是没有区别得。./filename是因为当前目录没有在PATH中,所有"."是用来表示当前目录的。
2.sh filename 重新建立一个子shell,在子shell中执行脚本里面的语句,该子shell继承父shell的环境变量,但子shell新建的、改变的变量不会被带回父shell,除非使用export。
3.source filename:这个命令其实只是简单地读取脚本里面的语句依次在当前shell里面执行,没有建立新的子shell。那么脚本里面所有新建、改变变量的语句都会保存在当前shell里面。

举例说明:
1.新建一个test.sh脚本,内容为:A=1
2.运行sh test.sh后,echo $A,显示为空,因为A=1并未传回给当前shell
3.或者chmod 777 test.sh,并且cp test.sh /bin/这样便可以在搜索路径中找到,直接执行了
4.运行test.sh后,也是一样的效果
5.运行source test.sh 或者 . test.sh,然后echo $A,则会显示1,说明A=1的变量在当前shell中

[root@250-shiyan sh]# cat pstr  可以一边观察进程的产生,一边执行脚本
#!/bin/bash
while sleep 2
 do
 pstree
 done

[root@109-com1 asterisk]# while sleep 2; do pstree;done

[root@109-com1 ~]# while sleep 1;do echo `/usr/sbin/ss -n|grep ESTAB|awk '($2 && $3)!~/0/{printf $0}'`;done

七种文件类型
shell中的常规文件是指-rwxrwxrwx,有减号就是
#stat 文件名 便可以看出 有regular file标志的就是
文件类型对应于上面的st_mode, 文件类型有很多,比如常规文件、符号链接(硬链接、软链接)、管道文件、设备文件(符号设备、块设备)、socket文件等,不同的文件类型对应不同的功能和作用。
-常规文件,d目录,l符号链接,b块设备,c字符设备,s套接字,p管道

每一种文件都可以用相应的命令创建,如

touch a 创建常规文件

mkdir a 创建目录

ln -s a 创建链接

mkfifo 创建命名管道

MAKEDEV 创建设备文件 包含在包MAKEDEV中

mksock 创建套接字文件 包含在包MAKEDEV中

管道分为有名管道与无名管道

无名就是在当前shell中类似grep root /etc/passwd | wc -l这种方式

有名可以在两个终端之间协同工作,例如在一个终端mkfifo aa;ifconfig > aa。在另一个终端接收管道传过来的流,即tail -f aa

shell通配符  ? ,*, {strings1,strings2,...}, [list], [!list], [^list], [c1-c2]

shell元字符

shell转义符  

shell各种符号用法

四个引用符号  " ' ` \

为防止shell解释一些东西,所以就有了引用,四种符号 " ' ` \
双引、单引和反引号
使用反斜线实现屏蔽,转义。反斜线引用单个字符时,称它为转义字符
双引号除$ ` \ 三种符号外,引用所有内容,称为弱引用
[root@localhost script]# echo "$TERM pwd "
xterm pwd
[root@localhost script]# echo "`ls` pwd "
passwd
user pwd
[root@localhost script]# echo "\`ls\` pwd "
`ls` pwd
单引号引用所有内容,没有字符拥有特殊含义,称为强引用
反引号
shell试图替代单词hello为系统命令并执行它,因为hello脚本或命令不存在,返回错误信息。
[root@localhost script]# echo `hello`
-bash: hello: command not found
[root@localhost script]# echo `date`
Mon Dec 30 18:08:21 CST 2013

[root@250-shiyan sh]# echo "who "fi""
who fi
[root@250-shiyan sh]# echo "who \"fi\""
who "fi"

命令替换看后两例子

命令替换两种形式

$(command)或`command`

    filelist=`ls -al`
echo $filelist # put contents of the file into a varible
filecontent=`cat export.txt`
echo $filecontent # produce a varible from a loop
var1=`for i in
do
echo -n $i # this echo is very important
done`
echo $var1 i=
var2=`while [ $i -le ]
do
echo -n $i #this echo is very important
i=$((i+))
done`
echo $var2 word_count=$( wc -w $(ls -l | awk '{print $9}') )
echo $word_count word_count=`wc -w \`ls -l | awk '{print $9}'\`` # 反引号也可以嵌套替换,但是需要通过\进行转意
echo $word_count

四个shell命令执行顺序符号 &&,||,(),{}

&&运算符:
command1  && command2
&&左边的命令(命令1)返回真(即返回0,成功被执行)后,&&右边的命令(命令2)才能够被执行;换句话说,“如果这个命令执行成功&&那么执行这个命令”。
(cmd1;cmd2;...;cmdN)      # 在一个子shell里执行一组命令
{cmd1;cmd2;...;cmdN}     #  在当前shell里执行一组命令

||运算符:
command1 || command2
||则与&&相反。如果||左边的命令(命令1)未执行成功,那么就执行||右边的命令(命令2);或者换句话说,“如果这个命令执行失败了||那么就执行这个命令。

()运算符:
为了在子shell中执行一组命令,可以用命令分隔符(即",")隔开每一个命令,并把所有的命令用圆括号()括起来。

{}运算符:
如果使用{}来代替(),那么相应的命令将在当前shell中作为一个整体被执行。

$ A=1;echo $A;{ A=2; };echo $A
1
2
$ A=1;echo $A;( A=2; );echo $A
1
1
{ A=2; }改变了当前shell变量的值
( A=2; )未改变当前shell变量的值

四种变量类型
环境变量(也叫shell变量)  是一类Shell预定义变量。环境变量由系统统一命名,全部大写。部分系统变量的值由系统设定,部分环境变量的值可以由用户给定。由export关键字处理过的变量叫做环境变量。因为通常情况下仅仅在登录脚本中使用环境变量。
位置变量(也叫shell参数)  函数,脚本等都需要参数,就是用来获得这些参数的。相当于其它编程语言的形参
$0 $1 $2 $3 $4 $5 $6 $7 $8 $9
特殊变量(预定义变量)  $! $* $# $? $$ $@
自定义变量

五种变量赋值方法:使用read命令,直接赋值,使用命令行参数,使用命令行的输出结果,从文件读取。

变量括号
变量名=值
取出变量值可以加一个美元符号($)在变量前面
变量名不可以直接和其他字符相连,如果想相连,必须用括号:
#num=2
#echo “this is $(num)nd!”

env与set的区别

env用于显示用户环境区中的变量及其取值;set用于显示本地数据区和用户环境区中的变量及其取值;unset用于删除指定变量当前的取值,该值将被指定为NULL;export命令用于将本地数据区中的变量转移到用户环境区。
新的变量会在本地数据区分配内存进行存储,这个变量归当前的Shell所有,任何子进 程都不能访问本地变量。这些变量与环境变量不同,环境变量被存储在另一内存区,叫做用户环境区,这块内存中的变量可以被子进程访问
env(查看全局环境变量)
set(显示为某个特定进程设置的所有环境变量,包括全局变量,剩下的为局部变量)

登录shell 优先级在tty与pts中是不一样的   http://blog.csdn.net/zlm_250/article/details/7949415
1./etc/profile
2./etc/profile.d/*.sh
3.$HOME/.bash_profile
4.$HOME/.bash_login 如果有的话
5.$HOME/.profile 如果有的话
6.$HOME/.bashrc
7./etc/bashrc
8.$HOME/.bash_logout
tty中的顺序是 1-2-3-5-6-7-8
pts中的顺序是 1-3-5
会从4个不同的启动文件里读取命令,顺序依次为:/etc/profile -> /etc/profile.d/*.sh -> (~/.bash_profile | ~/.bash_login | ~/.profile) -> ~/.bashrc -> /etc/bashrc -> ~/.bash_logout
$HOME/.profile中会检查系统上有没有$HOME/.bashrc文件,如果有则执行

(1) /etc/profile: 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行. 并从/etc/profile.d目录的配置文件中搜集shell的设置。
(2) /etc/bashrc: 为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取(即每次新开一个终端,都会执行bashrc)。
(3) ~/.bash_profile: 每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次。默认情况下,设置一些环境变量,执行用户的.bashrc文件。
~/.bash_profile: 是交互式、login 方式进入 bash 运行的~/.bashrc 是交互式 non-login 方式进入 bash 运行的通常二者设置大致相同,所以通常前者会调用后者。
(4) ~/.bashrc: 该文件包含专用于你的bash shell的bash信息,当登录时以及每次打开新的shell时,该该文件被读取。
(5) ~/.bash_logout: 当每次退出系统(退出bash shell)时,执行该文件. 另外,/etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承 /etc/profile中的变量,他们是"父子"关系。

在以上文件之中第二行分别写上一句echo “”(用以区分不同的文件),然后退出当前shell,重新登录,便可看出执行顺序。

RETVAL=$?  是将前面的执行结果赋给retval
没有规定在设置变量时一定要用双引号,但在进行字符串比较时必须这样做
当使用字符时,应总是使用双引号,无论它是单个字符串或是多个单词。

对当前路径的处理——$PWD, 但此值随cd指令而变,因此建议保存在另一个变量中
#!/bin/bash
a="$PWD"
echo $a
ls $a

command line

command options arguments

options ,执行任务的方式,控制命令的动作,选项也称开关switches或者标志flags
arguments ,指定命令使用的数据
空白符,使用空格和制表符作为分隔符的思想,是如此的重要,所以他们有自己的名称,空白符
space,制表符,新行字符(Carriage Return回车符)
[root@localhost script]# set |grep IFS
IFS=$' \t\n'
\n newline 新行字符
\r return 回车符
\t tab 制表符

使用者每输入一个键,cursor 就往后移动一格,直到碰到命令行读进 CR(Carriage Return,由 Enter 键产生)字符为止
所谓的命令行,就是在 shell prompt 与 CR 字符之间所输入的文字。
若从技术细节来看,shell 会依据 IFS(Internal Field Seperator) 将 command line 所输入的文字给拆解为"字段"(word)。
然后再针对特殊字符(meta)先作处理,最后再重组整行 command line 。
其中的 IFS 是 shell 预设使用的字段分隔符,可以由一个及多个如下按键组成:
* 空格键(White Space)
* 制表键(Tab)
* 回车键(Enter)
系统可接受的命令名称(command-name)可以从如下途径获得:
* 明确路径所指定的外部命令
* 命令别名(alias)
* 自定功能(function)
* shell 内建命令(built-in)
* $PATH 之下的外部命令
每一个命令行均必需含有命令名称,这是不能缺少的。

简单而言(我不敢说这是精确的定义,注一),command line 的每一个字符,分为如下两种:
* literal:也就是普通字符,对 shell 来说没特殊功能。
* meta:对 shell 来说,具有特定功能的特殊保留字符。
IFS space,tab,enter
CR carriage return
= $ >等
IFS 是用来拆解 command line 的每一个词(word)用的,因为 shell command line 是按词来处理的。
而 CR 则是用来结束 command line 用的。

命令名 选项 参数  
getconf -a   |grep "PAGE"
tune2fs -l /dev/sda1 |grep "Block"
readelf -a /usr/bin/tee  
pmap -x 16441  
size   /usr/bin/tee  
tar zxvf *.tar.gz  
blockdev --report    
fdisk -l    
stat   /boot  
sar -n DEV 1  
du -sh /var/log  
df -h   |column -t
命令名 正则 通配
ls   *
grep * *
find *  
sed *  
awk *  

bash -v引起的问题

另外在测试source运行脚本时,有些误操作,导致在执行命令时,都会首先输出一下当前运行命令。
如下所示:
[u1@localhost performance]$ cd tools/
cd tools/
[u1@localhost tools]$ cd ..
cd ..
[u1@localhost performance]$
看起来实在是有点多余,作为一个有轻微洁癖的人,当然想办法要消除它。不过一时竟不知如何下手,而且这个现象也不好描述,就算想google也不行呀。
不过我看到另外打开的一个section是没有这个问题的,因此想到对比两个section的env。
一对比还真发现有些不同,SHLVL这个变量正常的section为1,会首先输出执行命令的section为3。
所以怀疑到是在section运行了bash的原因,在会首先输出执行命令section里面连续输入两次exit之后,现象消失了。
再次在该section里面输入bash,并没有重现之前的现象。
运行bash –help看了一下,怀疑是bash –v/—verbose的原因。再次尝试输入bash -v,现象重现。
前后花了不少时间,藉此记录一下~

服务列表

有后台进程 只有内核模块,无后台进程
sshd lvs
httpd iptables
crond  
vnc  
nfsd  
udevd  
rsyslogd  
auditd