puppet自动化运维

时间:2021-11-25 09:13:01

Puppet实现自动化运维

一、案例分析

1、案例概述:

随着服务器数量的增多,系统管理员任务量也逐渐增加,这时就需要简洁的、强大的框架来完成系统管理任务为实现这一目的,我们将引入一批工具,这批工具是“可编程”的,系统管理员只需要为这批工具写上几行“代码”,它便会自动完成所有的工作,这批工具就是运维自动化puppet

在一些大型互联网企业中,运维自动化管理着几百甚至上千台服务器,它可以针对多台服务器进行统一操作,例如部署统一软件、进行统一上线维护等,而且能够快速完成上线部署,减少人力及人力误操作风险

2、Ppuppet工作原理

puppet的工作原理如下:

puppet的目的是让系统管理员只集中于要管理的目标,而忽略实现的细节。puppet既可以在单机上使用,也可以以C/S结构使用,在大规模部署puppet的情况下,通常我们会使用C/S结构,在这种结构下,服务端运行puppetmaster程序客户端运行puppetclient服务程序

具体的工作流程图如下所示

图1

puppet有两种工作模式,分别是

(1)客户端主动拉取服务器上的资源,少量服务器的场景。

(2)服务器主动推送,客户端需要配置,并且启动puppetclient,大量服务器的场景。

1)客户端主动拉取

(1)客户端puppet调用facter(facter是通过ssl加密收集及检测分析客户端配置信息的一个工具),facter探出主机的一些变量,如主机名、内存信息、IP地址等。puppet把这些信息通过ssl连接发送给服务器端

(2)服务器端的puppetmaster通过facter工具分析检测客户端的主机名,然后找到项目主配置文件manifest里面相对应的node配置,并对该内部内容进行解析。facter发送过来的信息可以作为变量处理,node牵涉到的代码才能够正确解析,其他没牵涉的代码不解析。解析分为几个阶段,首先进行语法检查,如果语法没有没错,就继续解析,解析的结果生成一个伪代码,然后将伪代码发送给客户端。

(3)客户端接收到伪代码并且执行,客户端把执行的结果发送给服务器端。

(4)服务器把客户端的执行结果写入日志。

puppet工作过程有以下两地啊你需要注意

(1)为了保证安全,client与Masgter之间是基于ssl和证书的,只有经Master证书认证的Client可以与Master通信

(2)puppet会让系统保持在人们所期望的某种状态并一直维持下去,如果文件被删除或者ssh服务被关闭了,puppet下次执行时(默认30分钟),会重新创建给文件或者启动ssh服务。

3、案例环境

本案例使用四台服务器模拟搭建puppet环境,具体拓扑如下所示

主机

操作系统

IP地址

主要软件

Puppetmaster

主机名:

Master.test.cn

Centos6.5 x86_64

192.168.1.1/24

Ruby-rdoc-1.8.7.352-13.e16.x86_64

Ruby-libs-1.8.7.352-13.e16.x86_64

Ruby-irb-1.8.7.352-13.e16.x86_64

Ruby-1.8.7.352-13.e16.x86_64

Puppet-2.7.21.tar.gz

Facter-1.7.1.tar.gz

Puppetclient1

主机名:

Client1.test.cn

Centos6.5 x86_64

192.168.1.2/64

Ruby-rdoc-1.8.7.352-13.e16.x86_64

Ruby-libs-1.8.7.352-13.e16.x86_64

Ruby-irb-1.8.7.352-13.e16.x86_64

Ruby-1.8.7.352-13.e16.x86_64

Puppet-2.7.21.tar.gz

Facter-1.7.1.tar.gz

Puppetclient1

主机名:

Client2.test.cn

Centos6.5 x86_64

192.168.1.3/24

Ruby-rdoc-1.8.7.352-13.e16.x86_64

Ruby-libs-1.8.7.352-13.e16.x86_64

Ruby-irb-1.8.7.352-13.e16.x86_64

Ruby-1.8.7.352-13.e16.x86_64

Puppet-2.7.21.tar.gz

Facter-1.7.1.tar.gz

NTP server

ntpserver.test.cn

Centos6.5 x86_64

192.168.1.4

二、案例实施

1、NTP server

今天的案例实施,前面已经提到过使用证书与puppetmaster验证身份,所以我们一定要确保puppetclient与puppetmaster时间保持一致,我们单独准备一台时间服务器来提供时间同步。

[root@ntpserver ~]# rpm -q ntp

ntp-4.2.6p5-1.el6.centos.x86_64

[root@ ntpserver ~]# vim /etc/ntp.conf

添加如下两行(在任何位置)

省略部分信息……

server 127.127.1.0//添加

fudge 127.127.1.0 stratum 8//添加

[root@ ntpserver ~]# service ntpd start

正在启动ntpd:                                  [确定]

[root@ ntpserver ~]# chkconfig  ntpd on

[root@ ntpserver ~]# iptables -I INPUT -p  udp --dport 123 -j ACCEP

[root@ ntpserver ~]# service iptables save

配置好了之后,其他主机就可以与此时间服务器进行时间同步

2、搭建puppetmaster

1)规划服务器主机名

在小规模puppet环境下,我们可以通过修改/etc/hosts文件,但是当达到上千台服务器时,我们必须搭建属于自己的DNS服务器来实现通过主机名进行通信,此案例我们使用/etc/hosts文件来实现。

[root@centos1 ~]# vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master.test.cn//修改

[root@centos1 ~]# vim /etc/hosts

192.168.1.1 master.test.cn//以下四行均需要添加

192.168.1.2 client1.test.cn

192.168.1.3 client2.test.cn

192.168.1.4 ntpserver.test.cn

[root@centos1 ~]# hostname master.test.cn

[root@centos1 ~]# bash

[root@master ~]#

通过以上修改,hosts文件可以解析主机名,并且修改了puppetmaster主机的主机名,最后两条命令是临时生效的并且切换到了另外一个bash环境,这么做是省却了重启计算机的时间,就算计算机重新启动,主机名也不会发生任何改变,但是这两处修改主机名一定要相同才可以。

2)与时间服务器同步时间

[root@master ~]# rpm -q ntp

ntp-4.2.6p5-1.el6.centos.x86_64

[root@master ~]# ntpdate 192.168.1.4

19 Nov 21:38:13 ntpdate[2027]: step time server 192.168.1.4 offset 1.767261 sec

3)安装ruby

puppet是基于ruby语言进行开发的,所以需要安装ruby搭建出ruby的基本环境,相关软件包已经下载到了root目录下

puppet-2.7.21.tar.gz

ruby-1.8.7.352-13.el6.x86_64.rpm

ruby-irb-1.8.7.352-13.el6.x86_64.rpm

ruby-libs-1.8.7.352-13.el6.x86_64.rpm

ruby-rdoc-1.8.7.352-13.el6.x86_64.rpm

compat-readline5-5.2-17.1.el6.x86_64.rpm

安装的时候一定要按照我的安装顺序安装,否则一定会出现错误。

[root@master ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm  ruby-*.rpm

安装完成之后,我们查看一下ruby的版本信息

[root@master ~]# ruby -v

ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]

4)puppet、facert安装

[root@master ~]# tar zxf facter-1.7.1.tar.gz

[root@master ~]# cd facter-1.7.1

[root@master facter-1.7.1]# ruby  install.rb//安装

[root@master facter-1.7.1]# cd

[root@master ~]# tar zxf puppet-2.7.21.tar.gz

[root@master ~]# cd puppet-2.7.21

[root@master puppet-2.7.21]# useradd  -s /sbin/nologin  puppet

[root@master puppet-2.7.21]# ruby install.rb//安装

(1)复制配置文件

[root@master puppet-2.7.21]# cp  conf/redhat/puppet.conf /

/etc/pupppet/

[root@master puppet-2.7.21]# cp  conf/redhat/fileserver.conf /

/etc/pupppet/

[root@master puppet-2.7.21]# cp  conf/redhat/server.init/

/etc/init.d/puppetmaster

(2)修改文件属性并添加为系统服务

[root@master puppet-2.7.21]# chmod  +x  /etc/init.d/puppetmaster

[root@master puppet-2.7.21]# chmod  +x  /etc/init.d/puppetmaster

[root@master puppet-2.7.21]# chkconfig  --add puppetmaster

[root@master puppet-2.7.21]# chkconfig  puppetmaster on

(3)创建puppet主目录

[root@master puppet-2.7.21]# mkdir /etc/puppet/manifests

[root@master puppet-2.7.21]# mkdir /etc/puppet/modules

4)puppet服务证书请求与签名

master端的配置

(1)修改配置文件

[root@master puppet-2.7.21]# vim /etc/puppet/puppet.conf

[main]//设置服务端配置

    # The Puppet log directory.

# The default value is '$vardir/log'.

logdir = /var/log/puppet

# Where Puppet PID files are kept.

# The default value is '$vardir/run'.

rundir = /var/run/puppet

# Where SSL certificates are kept.

# The default value is '$confdir/ssl'.

ssldir = $vardir/ssl

 modulespath = /etc/puppet/modules:/usr/share/puppet/modules//添加

[agent] //设置客户端配置

# The file in which puppetd stores a list of the classes

# associated with the retrieved configuratiion.  Can be loaded in

# the separate ``puppet`` executable using the ``--loadclasses``

# option.

# The default value is '$confdir/classes.txt'.

classfile = $vardir/classes.txt

# Where puppetd caches the local configuration.  An

# extension indicating the cache format is added automatically.

# The default value is '$confdir/localconfig'.

localconfig = $vardir/localconfig

(2)启动puppet主程序

[root@master puppet-2.7.21]# service puppetmaster start

Starting   puppetmaster:                              [  OK  ]

[root@master puppet-2.7.21]# netstat -anpt | grep ruby

tcp        0      0 0.0.0.0:8140                0.0.0.0:*                   LISTEN      2306/ruby

puppetmaster所监听的端口为8140,处理防火墙

[root@master puppet-2.7.21]# iptables -I INPUT -p tcp --dport 8140 -j ACCEPT

[root@master puppet-2.7.21]# service iptables save           

 3、搭建puppetclient

首先配置puppetclient1,步骤如下

1)规划服务器主机名

[root@centos2 ~]# vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=client1.test.cn//添加

由于客户端与服务器的hosts文件形同,这里直接拷贝使用

[root@centos2 ~]# scp root@192.168.1.1:/etc/hosts /root/

[root@centos2 ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.1 master.test.cn

192.168.1.2 client1.test.cn

192.168.1.3 client2.test.cn

192.168.1.4 ntpserver.test.cn

[root@centos2 ~]# hostname  client1.test.cn

[root@centos2 ~]# bash

2)与时间服务器同步时间

[root@client1 ~]# ntpdate 192.168.1.4

19 Nov 22:07:14 ntpdate[1811]: adjust time server 192.168.1.4 offset 0.394674 sec

3)安装ruby

[root@client1 ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm  ruby-*.rpm

[root@client1 ~]# ruby -v

ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]

4)puppet、facert安装

[root@client1 ~]# tar zxf facter-1.7.1.tar.gz

[root@client1 ~]# cd facter-1.7.1

[root@client1 facter-1.7.1]# ruby  install.rb

[root@client1 facter-1.7.1]# cd

[root@client1 ~]# tar zxf puppet-2.7.21.tar.gz

[root@client1 ~]# cd puppet-2.7.21

[root@client1 puppet-2.7.21]# useradd  -s /sbin/nologin  puppet

[root@client1 puppet-2.7.21]# ruby  install.rb

5)复制配置文件

[root@client1 puppet-2.7.21]#cp  conf/redhat/puppet.conf

 /etc/puppet

[root@client1 puppet-2.7.21]#cp  conf/redhat/client.init

 /etc/init.d/puppetclient

6)修改文件属性并添加为系统服务

[root@client1 puppet-2.7.21]# chmod  +x /etc/init.d/puppetclient

[root@client1 puppet-2.7.21]# chkconfig  --add puppetclient

[root@client1 puppet-2.7.21]# chkconfig  puppetclient on

7)puppet服务器证书请求与签名

puppetclient1和puppetclient2一样,操作如下

 [root@client1 puppet-2.7.21]# vim /etc/puppet/puppet.conf

在main标题下添加一行,

部分省略……

server = master.test.cn //添加

这条配置项指向puppetmaster主机的主机名,必须是能够解析对方的主机名才可以

puppetclient2的配置过程与puppetclient1的过程类似,注意将主机名修改为client2.test.cn

client端

分别在puppetclient1和puppetclient2上进行注册

[root@client1 puppet-2.7.21]# cd

[root@client1 ~]# puppet agent --server=master.test.cn --no-daemonize --verbose

info: Creating a new SSL key for client1.test.cn

info: Caching certificate for ca

info: Creating a new SSL certificate request for client1.test.cn

info: Certificate Request fingerprint (md5): 3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A

出现以上信息是在等待puppetmaster注册,这是可以使用ctrl+c结束,

服务器端

(1)查看申请注册的客户端

[root@master puppet-2.7.21]# puppet cert  --list

 "client1.test.cn" (3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A)

 "client2.test.cn" (E6:FB:66:72:C3:61:BA:A8:10:81:6D:D0:B2:A6:AC:79)

(2)将未注册的客户端注册

[root@master puppet-2.7.21]# puppet cert sign --all//注册所有客户端

notice: Signed certificate request for client1.test.cn

notice: Removing file Puppet::SSL::CertificateRequest client1.test.cn at '/var/lib/puppet/ssl/ca/requests/client1.test.cn.pem'

notice: Signed certificate request for client2.test.cn

notice: Removing file Puppet::SSL::CertificateRequest client2.test.cn at '/var/lib/puppet/ssl/ca/requests/client2.test.cn.pem'

(3)查看已经注册的客户端

[root@master puppet-2.7.21]# puppet cert --list --all

+ "client1.test.cn" (4D:D3:2E:37:92:93:F7:8D:DD:76:F0:3B:99:DF:0B:CA)

+ "client2.test.cn" (35:71:30:EF:64:32:DC:6B:96:A9:1C:58:E6:5D:E2:6C)

+ "master.test.cn"  (B0:42:BB:22:82:FC:78:DE:79:33:05:9D:B2:E5:4F:D9) (alt names: "DNS:master.test.cn", "DNS:puppet", "DNS:puppet.test.cn")

默认已经将自己也注册成了客户端。

4、配置实例

1)配置一个测试节点

节点信息:/etc/puppet/manifests/nodes

模块信息: /etc/pupppet/modules

为了保护linux的ssh端口爆破,批量修改客户端的sshd端口,将22号端口改为9922,并实现重启sshd服务的工作。

想完成以上几点,需要明确几点

①需确定openssh软件包安装

②需确定存在ssh的配置文件

③确定sshd的服务是系统服务

创建ssh模块,模块的目录为ssh,模块下有三个文件分别是:manifests、templates、files。

manifest里面必须包含一个init.pp文件,这是该模块的的初始(入口)文件,导入一个模块的时候需要从init.pp开始执行,可以把所有的代码都写入到这个文件中,也可以分成多个.pp文件,init在去包含其他文件,定义class类名时必须是ssh,这样才能实现调动

files目录是该模块的发布目录,puppet提供了一个文件分割机制,类似rsync的模块。

templates目录包含erb模块文件、这个和file资源的templates属性有关(很少使用)

master端

(1)创建必要的目录

[root@master~]#mkdir-p  /etc/puppet/modules/ssh/{files,templates,

manifests}

[root@master ~]# mkdir -p /etc/puppet/manifests/nodes

[root@master ~]# mkdir -p /etc/puppet/modules/ssh/files/ssh

[root@master ~]# chown -R puppet  /etc/puppet/modules/

此时/etc/puppet/modules/ssh的目录结构如下所示

[root@master ~]# ll /etc/puppet/modules/ssh/

total 12

drwxr-xr-x. 3 puppet root 4096 Nov 19 22:40 files

drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 manifests

drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 templates

(2)创建模块配置问加你install.pp

这个文件必须是以.pp结尾,.前面的文件名随便写,注意需要形象一些

[root@master ~]# vim /etc/puppet/modules/ssh/manifests/install.pp

输入一下信息(首先确定客户端安装ssh服务),如果没有安装则进行安装,但是客户端必须存在软件包,并且配置了yum源或者是yum客户端。

class ssh::install{//ssh为模块名,必须是ssh  install为文件名  ssh必须以init.pp的模块名相同

        package{ "openssh":

                        ensure => present,

   }

}

ps:注意是以,结尾

ps:由于配置的是ssh服务所以模块名为ssh,如果配置http则模块名为http

(3)创建该模块配置文件config.pp

[root@master ~]# vim /etc/puppet/modules/ssh/manifests/config.pp

输入一下信息配置需要同步的文件

class ssh::config{

  file{ "/etc/ssh/sshd_config"://配置客户端需要同步的文件

  ensure => present, //确定客户端此文件存在

  owner => "root", //文件所属用户

  group => "root", //文件所属组

  mode => "0600", //文件权限

  source=> "puppet://$puppetserver/modules/ssh/ssh/sshd_config",

//从服务器同步文件的路径

  require => Class["ssh::install"],//调用ssh::install确定

openssh已经安装

  notify => Class["ssh::service"], //如果config.pp发生变化通知service.pp

   }

}

这个文件的内容主要是定义,发布的配置文件权限以及调用ssh::install检查client是否安装了ssh服务,以及调用ssh::service重新启动sshd服务。

(4)创建模块配置文件serice.pp

输入一下信息

class ssh::service{

        service{ "sshd":

                ensure =>running,  //确定sshd运行

            hasstatus=>true,

//puppet该服务支持status命令,即类似service

sshd status命令                

hasrestart=>true,

  //puppet该服务支持status命令,即类似service

sshd status命令

            enable=>true,//服务是否开机启动

            require=>Class["ssh::config"]    //确认config.pp调用

}

}

(5)创建模块配置文件init.pp

[root@master ~]# vim /etc/puppet/modules/ssh/manifests/init.pp

将以上定义的配置文件加载进去,输入以下信息

class ssh{

        include ssh::install,ssh::config,ssh::service

}

此时/etc/puppet/modules/ssh/manifests目录下已有四个文件

[root@master ~]# ll /etc/puppet/modules/ssh/manifests/

total 16

-rw-r--r--. 1 root root 271 Nov 19 22:56 config.pp

-rw-r--r--. 1 root root  61 Nov 19 23:07 init.pp

-rw-r--r--. 1 root root  70 Nov 19 22:45 install.pp

-rw-r--r--. 1 root root 147 Nov 19 22:58 service.pp

(6)建立服务器端ssh统一维护文件

由于服务器和客户端的sshd_config文件一样,所以我们在服务器安装openssh软件,使其能够提供config_sshd样例文件,然后将其复制到文件发布目录下/etc/puppet/modules/ssh/files/ssh/

[root@master ~]# yum -y install openssh

[root@master ~]# cp /etc/ssh/sshd_config   \

> /etc/puppet/modules/ssh/files/ssh/

[root@master ~]# chown  puppet -R  \

> /etc/puppet/modules/ssh/files/ssh/sshd_config//修改权限,否则会失败

(7)创建测试节点配置文件,并将ssh模块加载进去。

[root@master ~]# vim /etc/puppet/manifests/nodes/ssh.pp

输入一下信息

node 'client1.test.cn'{

        include ssh

}

node 'client2.test.cn'{

        include ssh

}

(8)将测试节点载入puppet,即修改site.pp

[root@master ~]# vim /etc/puppet/manifests/site.pp

输入一下信息

import "nodes/ssh.pp"

(9)修改服务器端维护的sshd_config配置文件

[root@master ~]# vim /etc/puppet/modules/ssh/files/ssh/sshd_config

Port 9922

#AddressFamily any

#ListenAddress 0.0.0.0

#ListenAddress ::

(10)重新启动puppetmaster服务

[root@master ~]# service puppetmaster restart

2)客户端拉取

一般在小规模自动化群集中,如代码上线需要重新启动服务时,为了防止网站暂时性无法访问的问题,每台客户端需要运行一次puppet agent -t命令,所以选择模式时需要根据规模的大小来决定,一般运维工程师puppet服务器到各客户端建立ssh信任,然后自动以脚本,ssh让客户端批量执行puppet命令。

client端

192.168.1.2端执行命令如下所示

[root@client1 ~]# puppet agent -t

执行完成之后会出现很多信息

省略部分内容……

-#Port 22

+Port 9922//已经将端口改为了9922

 #AddressFamily any

 #ListenAddress 0.0.0.0

 #ListenAddress ::

[root@client1 ~]# netstat -anpt | grep sshd

tcp        0      0 0.0.0.0:9922                0.0.0.0:*                   LISTEN      3656/sshd           

tcp        0     52 192.168.1.2:22              192.168.1.10:52886          ESTABLISHED 1712/sshd           

tcp        0      0 :::9922                     :::*                        LISTEN      3656/sshd     

服务已经启动,并且已经监听了9922端口

3)服务器推送

当大规模部署时采用服务器推送方式。

client端

192.168.1.3端修改

(1)修改配置文件

[root@client2 ~]# vim /etc/puppet/puppet.conf

在最后一行添加如下配置项

listen = true

[root@client2 ~]# vim /etc/puppet/auth.conf

在最后一行添加如下配置项

allow *//允许任何服务器推送

(2)启动puppet客户端程序

[root@client2 ~]# service puppetclient start

[root@client2 ~]# netstat -anpt | grep ruby

tcp        0      0 0.0.0.0:8139                0.0.0.0:*                   LISTEN      2082/ruby           

(3)配置防火墙

[root@client2 ~]# iptables -I INPUT -p tcp --dport 8139 -j ACCEPT

(4)查看/etc/ssh/sshd_config文件的内容如下所示

[root@client2 ~]# cat /etc/ssh/sshd_config

# Port 22

#AddressFamily any

#ListenAddress 0.0.0.0

#ListenAddress ::

有可能,客户端在没有执行拉取的时候,就已经将端口修改了,所以如果端口是非22的时候需要修改回来。

(5)查看监听端口

[root@client2 ~]# netstat -anpt | grep sshd

tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      2550/sshd           

tcp        0     52 192.168.1.3:22              192.168.1.10:52889          ESTABLISHED 1710/sshd           

tcp        0      0 :::22                       :::*                        LISTEN      2550/sshd     

(6)开始推送

服务器端

192.168.1.1的操作如下所示

[root@master manifests]# puppet kick client2.test.cn

Triggering client2.test.cn

Getting status

status is success

client2.test.cn finished with exit code 0

Finished

从以上输出的信息所示已经成功了。

client1  操作,验证sshd的服务监听端口

[root@client2 ~]# netstat -anpt | grep  sshd

netstat -anpt | grep sshd

tcp        0      0 0.0.0.0:9922                0.0.0.0:*                   LISTEN      2995/sshd           

tcp        0     68 192.168.1.3:22              192.168.1.10:52889          ESTABLISHED 1710/sshd           

tcp        0      0 :::9922                     :::*                        LISTEN      2995/sshd