vivo官网App模块化开发方案-ModularDevTool

时间:2023-02-14 14:12:29

作者:vivo 互联网客户端团队- Wang Zhenyu

本文主要讲述了Android客户端模块化开发的痛点及解决方案,详细讲解了方案的实现思路和具体实现方法。

说明:本工具基于vivo互联网客户端团队内部开源的编译管理工具开发。

一、背景

现在客户端的业务越来越多,大部分客户端工程都采用模块化的开发模式,也就是根据业务分成多个模块进行开发,提高团队效率。例如我们vivo官网现在的整体架构如下图,分为13个模块,每个模块是一个独立代码仓。

(注:为什么这么分,可以参考之前的一篇文章《 Android模块化开发实践》)

vivo官网App模块化开发方案-ModularDevTool

二、痛点

完全隔离的代码仓,使每个模块更独立,更易于代码管理,但也带来了一些 问题

vivo官网App模块化开发方案-ModularDevTool

1、开发阶段,子仓开发以及集成开发调试,操作麻烦、易出错、难跟踪回溯

1.1、当开发时涉及的模块较多时,需要手动一个一个拉代码,多个子仓的代码操作非常麻烦,并且需要打开多个AndroidStudio进行开发;

1.2、子仓集成到主仓开发调试,有两种方式,但是都有比较大的缺点:

(1)方式1,子仓通过maven依赖,这种方式需要不断的发布子仓的snapshot,主仓再更新snapshot,效率较低;

(2)方式2,子仓通过代码依赖,也就是需要在主仓的settings.gradle中,手动include拉到本地的子仓代码,然后在build.gradle中配置dependencies,配置繁琐,容易出错;

1.3、主仓对子仓的依赖,如果是部分maven依赖、部分代码依赖,容易出现代码冲突;

1.4、apk集成的子模块aar和代码,没有对应关系,排查问题时很难回溯。

2、版本发布阶段,流程繁琐,过多重复劳动,流程如下:

2.1、逐个修改子仓的版本,指定snapshot或release;

2.2、每个子仓需要提交修改版本号的代码到git;

2.3、每个子仓都要手动触发发布maven仓;

2.4、更新主仓对子仓依赖的版本;

2.5、构建Apk;

2.6、如果用持续集成系统CI,则每个子仓都需要配置一个项目,再逐个启动子仓的编译,等子仓全部编译完再启动主仓编译。

三、方案

针对上述问题,我们优化的思路也很明确了,就是以自动化的方式解决繁琐和重复的操作。最终开发了ModularDevTool,实现以下功能:

vivo官网App模块化开发方案-ModularDevTool

1、开发阶段

1.1、在主仓中,管理所有子仓代码(拉代码、切分支及其他git操作),管理子仓相关信息(代码仓路径、分支、版本等);

1.2、只需要打开一个AS工程,即可进行所有仓的代码开发;

1.3、对子仓的两种依赖方式(代码依赖和maven依赖)一键切换,支持混合依赖(即部分仓代码依赖,部分仓maven依赖);

1.4、编译时输出子模块的版本及对应commitid,便于回溯跟踪代码。

2、版本发布阶段

2.1、只需要在主仓修改子仓版本号,子仓无需修改,省去子仓代码修改和提交代码过程;

2.2、CI上只要配一个主仓项目,实现一键编译,包括子仓编译aar(按依赖关系顺序编译)、上传maven、编apk;

2.3、CI上支持3种编译模式:

  • OnlyApp:即只编译主仓代码生成apk(前提是子模块已发布maven);

  • publishSnapshot:即子仓编译上传snapshot版本,然后编译主仓生成apk;

  • publishRelease:即子仓编译上传release版本,然后编译主仓生成apk。

四、ModularDevTool概览

工具采用了shell脚本+gradle插件的方式实现的。

首先看下工程目录概览

vivo官网App模块化开发方案-ModularDevTool

1、submodules目录是用来存放子仓代码的,子仓代码就是正常的工程结构,submodules目录如下图:

vivo官网App模块化开发方案-ModularDevTool

2、repositories.xml文件是用来配置子仓信息的,包括模块名、代码仓、分支、版本等,具体内容如下:

<?xml version="1.0" encoding="utf-8" ?>
<repositories>
        <!-- 一个repository表示一个仓库,一个仓库下可能会有多个module -->
    <repository>
        <!-- 仓库名称,可以随意定义,主要用于本地快速识别 -->
        <name>lib模块</name>
        <!-- 上传至maven时的groupid -->
        <group>com.vivo.space.lib</group>
        <!-- 配置仓库中的所有子模块,如果多个module就添加多个module标签 -->
        <modules>
            <module>
                <!-- 上传至maven时的artifactid -->
                <artifactid>vivospace_lib</artifactid>
                <!-- 上传至maven时的版本号 -->
                <version>5.9.8.0-SNAPSHOT</version>
                <!-- 编译顺序优先级,越小优先级越高 -->
                <priority>0</priority>
            </module>
        </modules>
        <!-- 注意仓库地址中的个人ssh名称要使用$user占位符代替 -->
        <repo>ssh://$user@smartgit:xxxx/VivoCode/xxxx_lib</repo>
        <!-- 开发分支,脚本用来自动切换到该分支 -->
        <devbranch>feature_5.9.0.0_xxx_dev</devbranch>
        <!-- 打release包时必须强制指定commitId,保证取到指定代码  -->
        <commitid>cbd4xxxxxx69d1</commitid>
    </repository>
    <!-- 多个仓库就添加多个repository -->
    ...
</repositories>

3、vsub.sh脚本是工具各种功能的入口,比如:

  • ./vsub.sh sync:拉取所有子模块代码,代码存放在主工程下的submodules目录中

  • ./vsub.sh publish:一键编译所有子仓,并发布aar到maven

4、subbuild目录用来输出子仓的git提交记录,subError目录用来输出子仓编译异常时的log。

五、关键功能实现

ModularDevTool主要功能分为两类,一类是代码管理,用于批量处理git操作;第二类是项目构建,实现了动态配置子模块依赖、子模块发布等功能。

5.1 代码管理

vsub.sh脚本中封装了常用的git命令,用于批量处理子仓的git操作,实现逻辑相对简单,利用shell脚本将git命令封装起来。

vivo官网App模块化开发方案-ModularDevTool

比如 ./vsub.sh -pull的实现逻辑,首先是cd进入submodules目录(submodules目录存放了所有子仓代码),然后遍历进入子仓目录执行git pull --rebase命令,从而实现一个命令完成对所有子仓的相同git操作,实现逻辑如下:

<!-- ./vsub.sh -pull代码逻辑 -->
 cd submodules
 path=$currPath
 files=$(ls $path)
 for fileName in $files
 do
     if [ ! -d $fileName ]
     then
         continue
     fi
     cd $fileName
     echo -e "\033[33mEntering $fileName\033[0m"
     git pull --rebase
     cd ..
 done

5.2 项目构建

(1)Sync 功能

通过执行./vsub.sh sync命令将所有子模块的代码拉取到主工程的submodules目录中。

Sync命令有3个功能:

1)如果子仓代码未拉取,则拉取代码,并切换到repositories.xml中配置的devbranch;

2)如果子仓代码已拉取,则切换到repositories.xml中配置的devbranch;

3)考虑到在一些场景(比如jenkins构建),使用分支检出代码可能会存在异常,在sync命令后面加 -c 参数,则会使用repositories.xml中配置的commitid检出指定分支代码。

Sync流程如下:

vivo官网App模块化开发方案-ModularDevTool

(2)子模块依赖处理

在之前我们依赖不同子仓的代码时,需要手动修改settings.gradle导入子模块,然后修改build.gradle中的dependencies,如下图。

<!-- settings.gradle -->
include ':app',':module_name_1',':module_name_2',':module_name_3'...
 
project(':module_name_1').projectDir = new File('E:/AndroidCode/module_name_1/code/')
project(':module_name_2').projectDir = new File('E:/AndroidCode/module_name_2/code/')
project(':module_name_3').projectDir = new File('E:/AndroidCode/module_name_3/code/')
...
<!-- build.gradle -->
dependencies {
    api fileTree(dir: 'libs', include: ['*.jar'])
    // 业务子模块 begin
    api project (':module_name_1')
    api project (':module_name_2')
    api project (':module_name_3')
    // 业务子模块 end
}
...

团队中每个人代码的存放位置不同,在新版本拉完代码后都需要手动配置一番,比较繁琐。

基于sync功能已经把所有的子仓代码都拉到了submodules目录中,现在我们项目在构建时只需简单配置local.properties即可(local.properties配置如下图),确定哪些子模块是代码依赖,哪些子模块是maven依赖。

<!-- 其中key module_name_x表示子模块名,value 0表示maven依赖,1表示代码依赖,默认是maven依赖,也就是,如果不配置某些子模块则默认maven依赖 -->
module_name_1=0
module_name_2=0
module_name_3=1
module_name_4=1
module_name_5=1
module_name_6=1

子模块依赖处理的流程如下:

vivo官网App模块化开发方案-ModularDevTool

(3)publish功能

通过执行./vsub.sh publish命令实现一键编译所有子模块aar并上传maven。

publish命令主要有4个功能:

1)如果子仓代码未拉取,则自动拉取子仓代码;

2)如果是发布snapshot版本,则切换到devbranch分支最新代码,version中包含snapshot字符串的子模块,编译生成aar并上传maven;否则,则直接跳过,不会编译;

3)如果是发布release版本(即指定-a参数),则切换到commitid对应的代码,编译生成release版本的aar,并上传maven;

4)子仓的编译上传顺序根据配置的priority优先级来执行。

注:上述的devbranch、version、commitid、priority等都是repositories.xml中的配置项。

publish发布子模块的流程如下:

vivo官网App模块化开发方案-ModularDevTool

六、ModularDevTool接入

接入本方案的前提是项目采用多代码仓的方式进行模块化开发。具体接入步骤也比较简单。

第一步,主仓依赖gradle插件modular_dev_plugin;

(该插件包含settings、tools、base、publish四个子插件,其中settings、tools和base插件配合实现子仓代码管理、动态依赖处理,publish插件实现子仓的aar发布)

第二步,主仓的settings.gradle应用settings插件,主仓的app build.gradle中应用tools和base插件;

第三步,主仓根目录添加repositories.xml配置文件和vsub脚本;

第四步,子仓依赖modular_dev_plugin,并应用publish插件;

第五步,中间层的子仓(比如App→Shop→Lib,那Shop就是中间层子仓)对下一层子仓的依赖版本号改成占位符,项目构建时会自动替换成repositories.xml中的版本号。如下图:

dependencies {
    // 对lib仓的依赖,原来是依赖具体的版本号,现在改成“unified”占位符,项目构建时会自动替换成repositories.xml中的版本号
    api "com.vivo.space.lib:vivospace_lib:unified"
}

至此,ModularDevTool就接入完成了。

七、现在的开发流程

基于这个工具,现在我们官网的开发流程如下:

第一步是clone主App仓代码,checkout对应开发分支,并在AndroidStudio打开工程;

第二步是修改repositories.xml配置,需要进行开发的子仓,修改devbranch为对应开发分支,修改version为对应版本号;

vivo官网App模块化开发方案-ModularDevTool

第三步,通过./vsub.sh sync命令,检出所有子模块代码;

第四步,修改local.properties中子仓依赖的模式(maven依赖or代码依赖),修改完成后点击Sync一下,然后就可以正常进行代码开发了,开发体验与单工程多module模式完全一样。

八、总结

这个工具已经很成熟,在vivo钱包、vivo官网等项目已经使用多年,通过该工具,开发阶段,实现多业务模块集成式开发,解决代码仓分散管理和手动配置依赖等繁琐操作,发布阶段,实现多种编译模式以及一键编包能力,对于团队的开发效率有很大提升,支撑官网app项目3+业务线并行迭代,并且代码冲突降低50%以上。