0%

Erlang-发布持续集成流程-1

前言

持续集成介绍

我比较懒,这里我就不介绍了,直接贴连接:持续集成是什么?

流程

公司的发布流程分为四个阶段:DEV->SIT->UAT->PROD ,这也代表着,我们的持续集成(CI)也分同样的四个阶段.

DEV和SIT都是在内网,可以通过ssh直连,但是UAT和PROD在外网,开发不能直接更新,只能通过丢relup的release包给到运维那边去处理

因此现在如果要做CI的话,前两个环境通过ssh直接操作,后两个只能是打包了

公司用的是gitlab的CI,所以下面我们来看看如何用gitlab的CI去完成erlang发布应用的持续集成.

DEV环境

大致步骤

  1. 编译阶段,通过则进入下一步,不通过发送通知
  2. 测试阶段,通过则进入下一步,不通过发送通知
  3. 部署阶段,不通过发送通知
    获取当前版本号备用
    如果存在OLD_VSN的环境变量,跳到5, 否则下一步
    通过ssh获取目标机器运行中的版本号
    判断从ssh获取到的内容,如果是机器没有运行,则直接打包发布,否知下一步
    对比当前版本和旧版本,相同则不需要升级和发布然后退出,不相同则下一步
    通过代码生成relup发布包,然后ssh到目标机器升级版本

具体流程图

note:上面这个流程图只是DEV,其他环境的会有不同,之后会说到

实现

创建项目

rebar3 new app urf, urf=upgrade release flow

Makefile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
APP_NAME = urf
all: compile test
APP_VER=$(shell awk '/release_vsn/{ print $$1 }' rebar.config | tr -d \")
###===================================================================
### build
###===================================================================
.PHONY: get-deps co compile run rel_tar
get-deps:
rebar3 get-deps
co:compile
compile: get-deps
rebar3 compile
### clean
.PHONY: clean distclean
clean:
rebar3 clean
distclean: test_clean
rebar3 clean -a
rel_tar:
rebar3 tar
###===================================================================
### test
###===================================================================
.PHONY: test eunit ct test_shell test_run test_clean
test: epmd
rebar3 do eunit -v, ct -v, cover -v
eunit: epmd
rebar3 do eunit -v, cover
ct: epmd
rebar3 do ct -v, cover
test_shell:
rebar3 as test compile
erl -pa _build/test/lib/*/ebin -pa _build/test/lib/$(APP_NAME)/test
test_run: epmd
rebar3 as test shell
test_clean:
@rm -rf _build/test/lib/$(APP_NAME)/test _build/test/logs _build/test/cover
###===================================================================
### relup
###===================================================================
.PHONY: tag up_vsn up_app_vsn up_relx_vsn clean_appup build_old_vsn relup check_appup
tag:
git tag $(APP_VER)
up_vsn: up_app_vsn up_relx_vsn
up_app_vsn:
@exec script/up_app_vsn.sh
up_relx_vsn:
@exec script/up_relx_vsn.sh
clean_appup:
rebar3 appup clean
rm -f _build/default/lib/*/ebin/*.appup
build_old_vsn:
@exec script/build_old_vsn.sh
relup:
@exec script/relup.sh
check_appup:
@exec script/check_appup.sh
###===================================================================
### other
###===================================================================
.PHONY: help tree logtail epmd
help:
rebar3 help
tree:
rebar3 tree
epmd:
@pgrep epmd 2> /dev/null > /dev/null || epmd -daemon || true

上面部分除了比较常见的build & test 部分外还增加了relup的一些命令

tag: 给当前版本打tag

up_app_vsn: 修改src/*.app.src文件的版本号,最后一位+1

up_relx_vsn: 修改rebar.config文件的版本号,最后一位+1

up_vsn: up_app_vsn + up_relx_vsn

clean_appup: 清理appup文件,打包relup文件前必须清理一次,不然appup插件检测到应用已经存在appup文件就不会再生成新的了

build_old_vsn: 打包旧的版本,下面会放出脚本文件

relup: 打包relup版本,下面会放出脚本文件

check_appup: 打印所有应用下的appup文件

rebar.config

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
{erl_opts, [
encrypt_debug_info
]}.
{plugins, [
{rebar3_appup_plugin, "2.2.1"}
]}.
{deps, []}.
%% for test
{cover_enabled, true}.
{cover_print_enabled, true}.
{eunit_opts, [
{dir, ["test/eunit"]}
]}.
{ct_opts, [
{dir, ["test/ct"]},
{readable, true}
]}.
%% for make release
{relx, [
{include_erts, true},
{system_libs, true},
{dev_mode, false},
{extended_start_script, true},
{sys_config, "config/sys.config"},
{vm_args, "config/vm.args"},
{release, {urf,
"0.1.0" %% release_vsn
}, [urf]}
]}.

首先,应用发布升级,当然少不了增加appup插件:

1
2
3
{plugins, [
{rebar3_appup_plugin, "2.2.1"}
]}.

其次是增加编译保护:

1
2
3
{erl_opts, [
encrypt_debug_info
]}.

增加这个encrypt_debug_info的主要原因是因为我们编译的代码必须要带有debug_info,不然appup插件会报错,但是同时增加了debug_info之后编译出来的beam文件是可以被反编译的,所以需要增加保护,另外增加了这个只是保护了当前这个app,但是依赖的其他app并不会有保护,后面我们会讲到使用rebar.config.script文件来将deps的其他app也保护起来.

增加了上面这个保护还需要在项目根目录下增加一个.erlang.crypt文件,内容类似如下:

[{debug_info, des3_cbc, [], "12345678912345678912345678912345"}].
最后是增加relx:

1
2
3
4
5
6
7
8
9
10
11
{relx, [
{include_erts, true},
{system_libs, true},
{dev_mode, false},
{extended_start_script, true},
{sys_config, "config/sys.config"},
{vm_args, "config/vm.args"},
{release, {urf,
"0.1.0" %% release_vsn
}, [urf]}
]}.

可以看到版本好附近有一个注释release_vsn,这个注释的主要作用标记版本号,脚本会通过这个标记找到版本号

rebar.config.script

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
%%main(CONFIG) ->
CONFIG_1 =
case lists:keyfind(add_overrides, 1, CONFIG) of
false -> CONFIG;
{_, AddOverrides} ->
Overrides = lists:concat([[{add, App, AddOverride} || App <- Apps] || {Apps, AddOverride} <- AddOverrides]),
OldOverrides = proplists:get_value(overrides, CONFIG, []),
lists:keystore(overrides, 1, CONFIG, {overrides, Overrides ++ OldOverrides})
end,
IsCI = os:getenv("CI_COMMIT_SHA") =/= false,
IsRelup = os:getenv("RELUP_TAR") =/= false,
ChangeProfileFun =
fun(test, ProfileConfig0) -> {test, ProfileConfig0};
(ProfileName, ProfileConfig0) ->
ProfileConfig1 = maps:from_list(ProfileConfig0),
Relx0 = maps:get(relx, ProfileConfig1, []),
Relx2 =
case IsCI of
false -> Relx0;
_ ->
Relx1 = lists:keystore(include_erts, 1, Relx0, {include_erts, true}),
lists:keystore(system_libs, 1, Relx1, {system_libs, true})
end,
Relx =
case IsRelup of
false -> Relx2;
_ ->
Relx3 = lists:keystore(include_erts, 1, Relx2, {include_erts, false}),
lists:keystore(system_libs, 1, Relx3, {system_libs, false})
end,
ProfileConfig = maps:to_list(ProfileConfig1#{relx => Relx}),
{ProfileName, ProfileConfig}
end,
Profiles0 = proplists:get_value(profiles, CONFIG_1, []),
Profiles = [ChangeProfileFun(RebarProfile, ProfileConfig) ||
{RebarProfile, ProfileConfig} <- Profiles0],
CONFIG_2 = lists:keystore(profiles, 1, CONFIG_1, {profiles, Profiles}),
{_, CONFIG_3} = ChangeProfileFun(none, CONFIG_2),
LAST_CONFIG =
case IsCI of
false -> CONFIG_3;
_ ->
lists:keystore(global_rebar_dir, 1, CONFIG_3, {global_rebar_dir, "_build/rebar3"})
end,
%% io:format("~n~p~n", [LAST_CONFIG]),
LAST_CONFIG.

rebar.config.script不熟悉的同学我这里简单介绍一下:

作用:

通过执行erlang脚本动态的修改rebar.config的内容

运行原理

在运行rebar3相关的命令之后,rebar3首先会读取rebar.config,然后将所有内容复制给CONFIG这个变量,然后再执行rebar.config.script这个文件,运行结束之后的结果就是最终的rebar的配置了

然后再来说说上面的代码:

add_overrides主要是为了给deps的其他app加上保护,用法如下:

增加到rebar.config文件里:

1
2
3
{add_overrides, [
{[app1,app2,app3,...], [{erl_opts, [encrypt_debug_info]}]}
]}.

第二部分是根据环境变量来判断是否在ci环境和是否保护RELUP_TAR里

一般不变更otp的版本和依赖不增加系统库的前提下,我们打包relup的包是不需要再包含erts和系统库,这样可以大大减少打包之后文件的大小, 因此我们在打包relup的时候,会在export变量 RELUP_TAR 到环境变量,这样只要在脚本里判断如果有这个变量则设置include_erts和system_libs为false.
另外一般我们的开发机器是ubuntu,但是线上的环境是centos,所以我们本地编译线上的包的时候会制定centos版的erlang的位置,幸运的是,我们的ci的runner的环境也是centos,因此我们如果判断到是在ci环境里时,只要设置成true就行了.
在ci环境,我们会使用cache,但是gitlab的ci的cache只会保存项目下的文件,因此像一些保存在~/.cache/rebar3下的hex包就不会被保存,这样我们每次编译的时候都要去拉一遍hex的pkg,幸好,rebar3可以修改这些文件的位置,只要我们设置global_rebar_dir的位置为项目下的_build/rebar3,之后我们再设置cache保存这个文件夹就完美解决这个问题了.

ps:可以看到第一行有一句注释,这句注释并不是必须的,其实它主要左右是我在idea里修改这个文件的时候,会打开这个注释,然后这个文件就变成了一个方法了,所有修改的时候格式也不会变化,同时也可以方便的用idea的格式化功能,算是一个小技巧,不过最后记得用完重新注释第一行,不然rebar3运行的时候会报错

.gitlab.ci.yml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
image: cerl
before_script:
- eval $(ssh-agent -s)
- ssh-add <(echo "$SSH_PRIVATE_KEY")
- mkdir -p ~/.ssh
- echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config
after_script:
- rm -rf _build/default/lib/urf
- rm -rf ~/.git-credentials
stages:
- build
- test
- deploy
cache:
paths:
- _build/default
- _build/rebar3
build:
stage: build
except:
- tags
script:
- make compile || ./script/ci_notice.sh "Build Fail"
tags:
- dockers
test:
stage: test
coverage: '/\|\s*total\s*\|\s*(\d+)%\s*\|/'
except:
- tags
script:
- make test || ./script/ci_notice.sh "Test Fail"
tags:
- dockers
deploy_dev:
stage: deploy
only:
- /^d_dev$/
except:
- tags
script:
- ./script/ci_deploy.sh || ./script/ci_notice.sh "Deploy Fail"
environment:
name: dev
variables:
SSH_USER_HOST: "user@server"
SERVER: "dev"
tags:
- dockers

对于gitlab 的 CI 不是很熟悉的同学可以看一下官方文档,文档里会给你很详尽的说明,同时也建议大家先系统性的学习一遍.gitlab.ci.yml文档的配置再回来看这篇文章.

之前说到过我们有三个阶段:

1
2
3
4
stages:
- build # 编译阶段
- test # 测试阶段
- deploy # 部署阶段

cache这一部分,ci有cache会大大减少整个流程的执行时间,这里cache了两个文件夹default和rebar3文件夹就够了

1
2
3
4
cache:
paths:
- _build/default
- _build/rebar3

build和test两个阶段比较简单,build就用make compile, test的话make test,另外如果想看到测试的代码覆盖率的话可以增加coverage,增加之后gitlab的页面那里就能显示这次的代码覆盖率了,其他就不一一详细说明了,主要来看看deploy阶段:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
deploy_dev:
stage: deploy
only:
- /^d_dev$/
except:
- tags
script:
- ./script/ci_deploy.sh || ./script/ci_notice.sh "Deploy Fail"
environment:
name: dev
variables:
SSH_USER_HOST: "user@server"
REBAR_PROFILE: "dev"
tags:
- dockers

这个阶段我们只针对d_dev这个分支,所以如果我们要部署或者升级dev环境,就只需要切换到这个分支然后合并最新的代码,最后推送这个分支到服务器,然后ci会帮你解决一切了,当然还是要通过我们写的脚本ci_deploy.sh来解决.

ci_deploy.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
#!/usr/bin/env bash
case $OSTYPE in
darwin*) SCRIPT=$(readlink $0 || true);;
*) SCRIPT=$(readlink -f $0 || true);;
esac
[ -z $SCRIPT ] && SCRIPT=$0
SCRIPT_DIR="$(cd `dirname "$SCRIPT"` && pwd -P)"
cd "$SCRIPT_DIR/.."
if [ -z $SSH_USER_HOST ]
then
echo "empty SSH_USER_HOST"
exit 1
fi
if [ -z $SERVER ]
then
echo "empty SERVER"
exit 1
fi
REL_NAME=$(awk -F '[,{]' '/\{release, \{/{ print $4 }' rebar.config)
NEW_VSN=$(awk '/release_vsn/{ print $1 }' rebar.config | tr -d \")
[ -z $TARGET_DIR ] && TARGET_DIR="/data/$REL_NAME"
export TARGET_DIR=$TARGET_DIR
export REBAR_PROFILE=$SERVER
TAR_FILE0="$REL_NAME-$NEW_VSN.tar.gz"
TAR_FILE="_build/$REBAR_PROFILE/rel/$REL_NAME/$TAR_FILE0"
export OLD_VSN=`exec $SCRIPT_DIR/ssh_get_vsn.sh`
only_send_and_start() {
echo "rebar3 tar" && \
rebar3 tar && \
echo "scp $TAR_FILE $SSH_USER_HOST:$TARGET_DIR" && \
scp $TAR_FILE $SSH_USER_HOST:$TARGET_DIR && \
echo "ssh $SSH_USER_HOST \"cd $TARGET_DIR && tar zxf $TAR_FILE0 && rm -f $TAR_FILE0 && ./bin/$REL_NAME start\"" && \
ssh $SSH_USER_HOST "cd $TARGET_DIR && tar zxf $TAR_FILE0 && rm -f $TAR_FILE0 && ./bin/$REL_NAME start" && \
echo "run successfully"
}
case $OLD_VSN in
"miss_file")
only_send_and_start;;
"Node is not running!")
only_send_and_start;;
$NEW_VSN)
echo "same vsn : $NEW_VSN";;
*)
$SCRIPT_DIR/build_old_vsn.sh && \
echo "rebar3 appup clean" && \
rebar3 appup clean && \
echo "rm -f _build/default/lib/*/ebin/*.appup" && \
rm -f _build/default/lib/*/ebin/*.appup && \
echo "rebar3 get-deps" && \
rebar3 get-deps && \
echo "rebar3 release" && \
rebar3 release && \
echo "rebar3 appup compile" && \
rebar3 appup compile && \
echo "rebar3 appup generate --previous_version $OLD_VSN" && \
rebar3 appup generate --previous_version $OLD_VSN && \
echo "rebar3 relup --upfrom $OLD_VSN" && \
rebar3 relup --upfrom $OLD_VSN && \
echo "rebar3 tar" && \
rebar3 tar && \
echo "scp $TAR_FILE $SSH_USER_HOST:$TARGET_DIR/releases" && \
scp $TAR_FILE $SSH_USER_HOST:$TARGET_DIR/releases && \
echo "ssh $SSH_USER_HOST \"cd $TARGET_DIR && ./bin/$REL_NAME upgrade $NEW_VSN\"" && \
ssh $SSH_USER_HOST "cd $TARGET_DIR && ./bin/$REL_NAME upgrade $NEW_VSN" && \
echo "upgrade successfully";;
esac

ssh_get_vsn.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#!/usr/bin/env bash
case $OSTYPE in
darwin*) SCRIPT=$(readlink $0 || true);;
*) SCRIPT=$(readlink -f $0 || true);;
esac
[ -z $SCRIPT ] && SCRIPT=$0
SCRIPT_DIR="$(cd `dirname "$SCRIPT"` && pwd -P)"
cd "$SCRIPT_DIR/.."
if [ -z $SSH_USER_HOST ]
then
echo "empty SSH_USER_HOST"
exit 1
fi
if [ -z $TARGET_DIR ]
then
echo "empty TARGET_DIR"
exit 1
fi
REL_NAME=$(awk -F '[,{]' '/\{release, \{/{ print $4 }' rebar.config)
ssh_cmd_get_versions="([ -f $TARGET_DIR/bin/$REL_NAME ] && cd $TARGET_DIR ; ./bin/$REL_NAME versions | tr -d '\n') || ([ ! -f $TARGET_DIR/bin/$REL_NAME ] && mkdir -p $TARGET_DIR ; echo miss_file)"
#echo "ssh $SSH_USER_HOST \"${ssh_cmd_get_versions}\""
versions=`ssh $SSH_USER_HOST "${ssh_cmd_get_versions}"`
case $versions in
"miss_file")
echo "miss_file";;
"Node is not running!")
echo "Node is not running!";;
*)
echo $(echo $versions | sed -r "s/.*\*\ ([0-9]+.[0-9]+.[0-9]+)\ permanent.*/\1/g")
esac

上面的这些脚本其实只是之前的流程的转义,我这里就不重复了.