整体的架构设想图是这样的
首先声明一下:搭建架构时我的IP分配与端口
节点1:gitlab 192.168.0.177
节点2:gerrit http:192.168.0.179:9999
jenkins http://192.168.0.179:8180
如果搭建在一台服务器上面,请注意 gitlab默认会占用80端口和8080端口(这个我也想不明白为什么8080端口也会被占用),所以jenkins需要修改成其他端口
当时搭建的时候,也是参考别人的一个帖子http://www.codesec.net/view/215871.html,但是没有注明IP,很让我头疼,也走好多弯路。
1-1 gitlab搭建
GitLab 是一个使用使用 Ruby on Rails 搭建的,用于仓库管理系统的开源项目。使用 Git 作为代码管理工具,并在此基础上搭建起来的web服务
1.1.2. 环境搭建
a) 第一步:安装相应的在依赖包(postfix或者sendmail),其中选择internet site这种网络smtp邮件服务器这种方式来发送邮件,其他一些依赖包:curl \openssh-server\ ca-certificates\ postfix
If you install Postfix to send email please select \'Internet Site\' during setup. Instead of using Postfix you can also use Sendmail or configure a custom SMTP server . If you wish to use Exim, please configure it as an SMTP server.
On Centos 6 and 7, the commands below will also open HTTP and SSH access in the system firewall.
操作命令:
sudo apt-get install curl openssh-server ca-certificates postfix
b) 第二步:Add the GitLab package server and install the package. 下载gitlab安装包,并且安装
方法1、增加yum源链接,使用sduo apt-get install gitlab-ee
Apt-get安装Curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.deb.sh|sudo bash
操作命令:
sudo apt-get install gitlab-ee
If you are not comfortable installing the repository through a piped script, you can find the entire script here .
Alternatively you can select and download the package manually and install using
方法2、deb包安装下载deb包,然后安装
下载: sudo wget https://packages.gitlab.com/gitlab/gitlab-ee
安装: sudo dpkg -i gitlab-ee_8.1.2-ee.0_amd64.deb
建议一般下载后再装
c)第三步,启用配置,并且启动 GitLab
操作命令:
sudo gitlab-ctl reconfigure
d) 第四步:打开网页,进行注册,使用默认密码
http://192.168.0.177:80
Username: rootPassword: 5iveL!fe
e) 第五步:2.1.6. Upload your license(EE版本需要认证,CE) 这步我操作的时候是没有的(后面发现公司用的CE社区版本,大家请认清想要下载的版本)
Go toAdmin > Licenseand upload your.gitlab-licensefile.
Don\'t have a license yet? Get a subscription.
1-2 gitlab配置用户的SSH-KEY并创建test项目
第一步:打开gitlab网页:http://192.168.0.177,输入admin用户跟密码,并创建TEST项目
需要做以下动作:
1、在gerrit主机(192.168.0.179),创建用户gerrit,生成ssh-key,并把公钥上传到,gitlab的admin的ssh-key里面去
2、填入admin用户的邮箱,如denghuayi@szprize.com
操作如下:
在gerrit主机(192.168.0.179)上: sudo useradd gerrit 并设置密码 ,然后 su - gerrit后, 创建sshkey(生成私钥和公钥)
$ sudo -u gerrit -H ls /home/gerrit/.ssh
$ sudo -u gerrit -H ssh-keygen -C denghuayi@szprize.com 邮箱为gitlab的admin注册邮箱,两者共用
$ sudo -u gerrit -H cat /home/gerrit/.ssh/id_rsa.pub
以上为生成sshkey的图片
以上为把/home/gerrit/.ssh/id_rsa.pub里面的内容填入到gitlab用户的ssh-key。
起到的作用是,以后gerrit主机的gerrit用户可以直接凭私钥push代码,不需要验证,同时gerrit用户就相当于gitlab的管理员账户了(意思是可以下载代码)
第二步:在gerrit主机:192.168.0.179中,安装git-review,readline,准备对远程gitlab 仓库的的空项目project增加.review文件,注意要安装依赖包pip \ git-review\readline
1.1.4. Gerrit Review支持前面我们在Gitlab上搭建了一个 test 的工程,普通用户是没有办法去 push 的,只能使用 git review 命令提交. 而 git review 命令需要 .gitreview 文件存在于项目目录里。
1.1.4.1安装支持库需要安装git-review, readline
Apt-get install git-review
linux :pip install readline
windows:pip install pyreadline
第三步:在gerrit主机上创建gitlab同名的管理员用户(root可以理解为gerrit)
1.1.4.2 用 gerrit(gitlab中的admin)用户给test项目添加 .gitreview 文件a) 拷贝gitlab的test项目,创建.gitreview文件,再push到gitlab仓库(简单来讲,就是用gerrit的主机,给gitlab的空project里面增加一个.gitreview文件)
gerrit@gerrit:~/cfg$ git init cfg
gerrit@gerrit:~/cfg$ git init cfg
gerrit@gerrit:~/cfg/cfg$ git config --global user.name \'root\'
gerrit@gerrit:~/cfg/cfg$ git config --global user.email denghuayi@xxx.com
gerrit@gerrit:~/cfg/cfg$ git clone http://192.168.0.177/root/test.git
gerrit@gerrit:~/cfg/cfg$ cd test/
(这里强调一下,为什么克隆代码呢,主要是在原来的项目中为了增加.gitreview,这里下载代码与后面的gerrit的git clone --bare完全没关系)
b) 添加gitreview文件 (注意,里面增加的是gerrit服务器的ip,因为reivew的工作是在192.168.0.179上)
gerrit@gerrit:~/cfg/cfg/test$ vim .gitreview
文件内容为:
[gerrit]
host=192.168.0.179
port=29418
project=你在gitlab上面新建的project名,比如说test.git (其实这里不太准确,真正意义上来讲,这里写的应该是gerrit的项目名,只不过gerrit的项目名与gitlab项目名一样而已)
c) 上传gitreview文件
gerrit@gerrit:~/cfg/cfg/test$ git add .gitreview
gerrit@gerrit:~/cfg/cfg/test$ git commit .gitreview -m \'add .gitreview file by admin.\'
gerrit@gerrit:~/cfg/cfg/test$ git push origin master
经过以上步骤,gitlab服务器上面的project就有review功能了,这样普通用户就不能直接push代码了。
第四步:验证普通用户无法直接push代码
1、同理,在gerrit主机(192.168.0.179)创建普通用户 tanchun , 生成sshkey
2、同理,在gitlab页面(http://192.168.0.177)创建普通用户 tanchun , 并把上一步生成的sshkey填入,增加邮箱 tanchun@xxxx.com邮箱。
3、在gitlab页面(http://192.168.0.177)里面选择新建一个测试项目test_project1,选择项目时为private,增加tanchun用户 ,并设置他为reporter角色。(此时,测试用户tanchun是无法push的)
在linux系统上登录tanchun账号下,克隆工程test-project1.git,测试权限
[root@115]# su - tanchun
[tanchun@115 ~]$ git clone git@192.168.1.177:dev-group/test-project1.git
Initialized empty Git repository in /home/wangshibo/test-project1/.git/
remote: Counting objects: 15, done.
remote: Compressing objects: 100% (9/9), done.
remote: Total 15 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (15/15), done.
[tanchun@115 ~]$ cd ~/test-project1/
[tanchun@115 ~]$ git config --global user.name \'wangshibo\'
[tanchun@115 ~]$ git config --global user.email \'wangshibo@xqshijie.cn\'
[tanchun@115 ~]$ touch testfile
[tanchun@115 ~]$ git add testfile
[tanchun@115 ~]$ git commit -m \'wangshibo add testfile\'
[tanchun@115 ~]$git push
GitLab: You are not allowed to push code to this project.
fatal: The remote end hung up unexpectedly
上面有报错,因为普通用户没有直接push的权限。需要先review到gerrit上进行审核并commit后,才能更新到代码中心仓库里
2-1 gerrit安装
1.2. Gerrit 1.2.1 简介gerrit的工作模式是所有真正的merge由gerrit负责,
我们的提交只是提交给了gerrit,gerrit会通知项目的负责人来审核代码,
同时也会调用一些自动化测试构建工具来检查代码是否符合要求,只有都通过后才会的合并进主干代码。所以可以把gerrit看成是代码和提交者之间的一道门。
1.2.2. 环境搭建a) Jdk安装
安装最新版本Oracle JRE/JDK,使用PPA(personal package archieve)WEBUPD8的方式安装。
sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
如果你正在使用OPenJDK,那么先将它移除以免产生任何的冲突
sudo apt-get remove --purge openjdk*
然后使用下面的命令安装Oracle Java 7
sudo apt-get install oracle-java7-installer
b) 添加gerrit用户(已经有了)
adduser gerrit
c) 建立存放代码的目录
mkdir /home/gerrit/gerrit_dir/
d) 安装git
sudo apt-get install git
e) 安装
sudo java -jar gerrit-2.11.4.war init -d /home/gerrit/gerrit_dir/
一路按回车,先以默认方式安装,之后再手动修改配置文件。
f) 配置gerrit
vim review_site/etc/gerrit.config
如下:
[gerrit]
basePath = /home/gerrit/gerrit_dir -----------存放代码的路径
canonicalWebUrl = http://192.168.0.179:8081/ -----------gerrit网页最终要跳转到页面
[database] ---------- 选择默认数据库
type = h2
database = db/ReviewDB
[index] ---------- 默认
type = LUCENE
[auth] -----------必选HTTP
type = HTTP
[sendemail]
enable
smtpServer = smtp.szprize.com
smtpUser = *******@szprize.com
smtpPass = ******
from = gerrit_review<denghuayi@szprize.com>
[container] ----------默认
user = gerrit
javaHome = /usr/lib/jvm/java-7-oracle/jre
[sshd] -----------默认,sshd29418是gerrit代码库的clone端口
listenAddress = *:29418
[httpd] -----------默认
listenUrl = proxy-http://*:8081/
[cache] -----------默认
directory = cache
2-2 配置gerrit的web访问页面
g) NGINX 安装
sudo apt-get install nginx
h) NGINX 配置
查看/etc/nginx/nginx.conf配置文件读取那些sites配置文件
发现这里只include /etc/nginx/sites-enabled里面的文件
在/etc/nginx/sites-enabled新增一个端口映射虚拟服务器文件gerrit
配置nginx端口映射,9999映射到gerrit的8081端口
配置gerrit的gerrit文件内容:
server {
server_name 192.168.0.179;
listen 9999;
root /home/gerrit/gerrit_dir/ ;
allow all;
deny all;
auth_basic "Welcomme to Gerrit Code Review Site!" ;
auth_basic_user_file /home/gerrit/htpasswd.conf ;
location / {
proxy_pass http://192.168.0.179:8081;
}
}
i) 服务重启 service nginx restart
起到的作用时:当访问http://192.168.0.179:9999端口时,需要输入账号跟密码才能登录,并且跳转到gerrit真正的页面:http://192.168.0.179
2-3 gerrit配置
1.2.3 账户创建以下模拟admin账户创建
a) NGINX 账户访问:创建 htpasswd.conf 文件,并添加 gerrit 用户、密码到文件中(注意:htpasswd.conf的权限是644)
# touch /etc/gerrit_account/htpasswd.conf
# htpasswd /etc/gerrit_account/htpasswd.conf admin
默认第一个登录 Gerrit 的用户(gerrit)是 管理员用户。
打开http:192.168.0.179:9999,输入账号、密码后,然后加入ssh-key(注意,在gitlab时就已经生成有ssh-key了,直接cat ~/.ssh/id.rsa.pub就可以看到sshkey了),进入邮箱验证环节(邮箱验证会有个坑,后面我会讲一下)
b) 邮箱验证
注册邮箱,并添加对应密钥
c) 账户登陆
默认第一个登录 Gerrit 的用户是 (默认为管理员账户)。验证通过后,右上角会由原来的anonmous变成admin
同理:创建普通用户tanchun(项目测试用户),普通用户jenkins(jenkins用户是用来连接jenkins的),写入htpasswd.conf,登录相应的界面设置ssh-key和邮箱。 (注意。gerrit页面是不允许logout的,所以需要关闭web页面清理缓存,才能登录其他用户)
注意,这里有个坑,就是在你填写邮箱,进行验证的时候,邮件发到你的邮箱时,记得把链接复制到你验证的浏览器里面打开,不要一直点击打开(直接点击打开会造成什么结果呢?比如说我用的google浏览器打,点击的时候,它会默认在IE里面打开,这两个是不同的浏览器,所以会验证失败,右上角一直会是anomous!)验证成功的标准与否是,会不会出现create new project按键!
2-3 同步代码到gerrit的根目录(/home/gerrit/gerrit_dir)
cd /home/gerrit/gerrit_dir
git clone --bare git@192.168.1.177:dev-group/test-project1.git (这里要解释一下,首先为什么能克隆?是因为前面把gerrit用户的公钥上传到gitlab上面去了,第二个,克隆方法,必须是git clone --bare这样的方式)
克隆完了之后,你会发现当前目录有一个test-project.git的文件夹 ,这个文件夹就是对应gitlab的一个项目
接下来,设置对应关系,把这个项目与gitlab的项目联系起来
cd /home/gerrit/gerrit_dir/etc
vim replication.config (这个配置文件起到的作用就是,当gerrit审核完之后,根据这个文件里面的url,把内容同步到gitlab项目去)
[remote "test"] -----------远程
projects = test
url = git@192.168.0.177:root/test.git 就是克隆下来时的路径
push = +refs/heads/*:refs/heads/*
push = +refs/tags/*:refs/tags/*
push = +refs/changes/*:refs/changes/*
threads = 3
保存退出
重启gerrit,service gerrit restart,这样gitlab与gerrit的整合就OK了,可以达到代码审核的功能了
2-4 这一步其实是后面jenkins的东西,给jenkins创建一个用户,达到的目的是,jenkins可以从gerrit下载代码到jenkins的目录进行编译或者其他操作
以gerrit用户登录192.168.0.179这台服务器,执行命令,新建jenkins用户(这个是gerrit网页登录的jenkins用户)
htpasswd /home/gerrit/htpasswd.conf jenkins 这里比如说密码是123456
b) su - root ,用root权限创建服务器的用户,jenkins, 并切换到jenkins的家目录 , cd /home/jenkins
c) 创建jenkins密钥
ssh-keygen -C jenkins@xxxx.com
d) 用jenkins用户登录Gerrit服务器,更新SSH公钥
cat /home/jenkins/.ssh/id_rsa.pub
登录192.168.1.49:9999 gerrit网页,这里如果右上角默认登录为gerrit,请另外开一个IE进行注册,验证邮箱,并且增加sshkey
e) 接下来,就是设置jenkins为 Non-interactive角色(这里不得不说gerrit的权限设置太麻烦了,如果要搞的话,各位请耐心看一下gerrit的权限设置)
接下来-就是整合jenkins了
3-1 jenkins安装
a) Install Jenkins
wget -q -O - https://jenkins-ci.org/debian/jenkins-ci.org.key | sudo apt-key add -
sudo sh -c \'echo deb http://pkg.jenkins-ci.org/debian binary/ > /etc/apt/sources.list.d/jenkins.list\'
sudo apt-get update
sudo apt-get install jenkins
b) Starting Jenkins
nohup java -Dorg.jenkinsci.plugins.gitclient.Git.timeOut=60 -Dfile.encoding=UTF-8 -Dhudson.DNSMultiCast.disabled=true -jar /usr/share/jenkins/jenkins.war --httpPort=8180 > /var/log/jenkins_log 2>&1 &
(注意--httpPort=8180放在后面)
c) 开启 jenkins页面为:192.168.0.179:8180
http://xxxxx:8180/
d) 插件安装
Git Plugin
SSH Plugin
URL Trigger Plugin
Gerrit Trigger Plugin
e) 注册用户
先开启用户注册按钮,用户注册完毕以后,关闭用户注册
3-2 构建gerrit的项目
a) 安装gerrit triggle插件
Gerrit Triggle 配置文档 https://wiki.jenkins-ci.org/display/JENKINS/Gerrit+Trigger
b) 设置Gerrit Trigger (设置gerrit的服务器)
主页面->Manage Jenkins->Gerrit Trigger->Add New Server
Add New Server:Check4Gerrit
勾选Gerrit Server With Default Configurations
c) 填写gerrit的jenkins账户信息,并测试 (账户信息要跟gerrit里面注册的jenkins的信息一样)
如果点击Test Connection后出现如图所示的错误User jenkins has no capability to connect to Gerrit event stream.,这是因为因Jenkins 没有权限监听,参考Gerrit 的 ‘Stream Events’配置
d) Gerrit Triggle设置成功
e) Gerrit Triggle重启保证状态正常
第二步:(创建对应的项目,与触发事件,verify)
1.3.2.1. Verified项目配置只要gerrit有提交代码,jenkins都能检测到,并verified代码正确性,然后把结果告诉gerrit
a) Jenkins上创建test项目
用jenkins登录http://192.168.0.179:8180/
1、选择*风格的项目
2、选择git源码管理,填入gerrit的代码仓库项目(在gerrit-http:192.168.0.9999的project的list)的url: http://192.168.1.49:8081/test.git
添加分支:origin/$GERRIT_BRANCH
3、构建动作 (选择execute shell)
c) Build页面设置 (这里其实是shell操作了,以下的这些根据自己自定义来操作吧)
Add build step->Execute shell
cd $WORKSPACE
[ ! -e .testrepository ] && testr init
testr run
此处测试代码可依据项目情况而定,可为空
保存!
第三步:邮件提醒功能
首页=>系统管理=>系统设置
设置jenkins URL为 http://192.168.0.179:8080/ 就是本身jenkins的网址
系统管理员的邮件地址: jenkins@xxx.com
设置smtp服务器信息,jenkins@szprize.com的登录信息
待续....