bazel使用汇总

最近重构代码之后,打算在本地用bazel来作项目构建。主要是因为brpc已经支持了bazel,所以在此之前料想会简单许多。

安装比较简单,centos直接用yum就行。按照这个指示:

https://docs.bazel.build/versions/master/install-redhat.html

1 wget https://copr.fedorainfracloud.org/coprs/vbatts/bazel/repo/epel-7/vbatts-bazel-epel-7.repo -O /etc/yum.repos.d/
2 yum install bazel

 最基本的使用,参考tutorial就行了。

https://docs.bazel.build/versions/master/tutorial/cpp.html

常用的也就是cc_library和cc_binary。(因为我现在用blade也是这样……)

当然写c++,这里有个common case可以看看。

https://docs.bazel.build/versions/master/cpp-use-cases.html

头文件

头文件的引入比较复杂些,分几种情况:

1. 多文件。(使用通配符)

1 cc_library(
2     name = "build-all-the-files",
3     srcs = glob(["*.cc"]),
4     hdrs = glob(["inlcude/**/*.h"]),
5 )

2. 使用copts来指定引用目录。

1 cc_library(
2     name = "some_lib",
3     srcs = ["some_lib.cc"],
4     hdrs = ["include/some_lib.h"],
5     copts = ["-Ilegacy/some_lib/include"],
6 )

这里就涉及到另一个参数,includes。includes和copts的使用区别主要有两点:

a. includes不需要加-I,而且直接是相对路径就行。也就是说,如果相对于主目录是./sub/subsub/a.h,sub/BUILD里,includes只需要写['subsub'], 如果是copts则需要写['-Isub/subsub/']。

b. copts只在当前目标里生效。includes则所有依赖到该目录都会继承。所以一般library还是用includes。

这里还要注意,如果用cc_binary,srcs里也要包含引用的头文件,不然也会报错。

其他参数就看看文档:

https://docs.bazel.build/versions/master/be/c-cpp.html

外部引用

可以在WORKSPACE文件里写。

https://docs.bazel.build/versions/master/be/workspace.html

具体我的使用场景是把第3方库代码download下来放在项目里,然后通过WORKSPACE来设置。所以我会用到的是local_repository。比如我在我的项目WORKSPACE里这样写:

 1 local_repository(
 2   name = "com_google_protobuf",
 3   path = "3rdlib/protobuf-3.6.1/",
 4 )
 5 
 6 local_repository(
 7   name = "com_github_google_leveldb",
 8   path = "3rdlib/leveldb-1.20",
 9 )
10 
11 local_repository(
12   name = "com_github_gflags_gflags",
13   path = "3rdlib/gflags-master",
14 )

然后把brpc里对应的leveldb.BUILD拷到leveldb的源码目录,这样brpc的BUILD基本就不需要改了。

但是这里碰到另一个坑,就是编译protobuf要指定HAVE_LIB=1。这里就通过在项目根目录的.bazelrc里写:

1 build --copt -DHAVE_ZLIB=1

这样bazel build就会默认调用这句命令。这里有个问题,是必须要在项目的根目录.bazelrc里写,在第三方目录里写是没用的。

https://github.com/bazelbuild/bazel/issues/6319

https://github.com/brpc/brpc/issues/275

外部非bazel的项目也可以用genrule,使用make来编译。genrule会自动执行。被依赖的文件,可能通过filegroup暴露出去。

https://docs.bazel.build/versions/master/be/general.html

genrule可以用到一些内置变量。系统变量用$$引用。内置变量见:

https://docs.bazel.build/versions/master/be/make-variables.html

但是获取不了本项目的绝对路径。所以我也不知道应该怎么捞取,得到的都是sandbox里的,只能用..来取到项目目录。

 1 genrule(
 2     name = "libevent-srcs",
 3     outs = include_files + lib_files,
 4     cmd = "\n".join([
 5         "export INSTALL_DIR=$$(pwd)/$(@D)/libevent",
 6         "export TMP_DIR=$$(mktemp -d -t libevent.XXXXXX)",
 7         "mkdir -p $$TMP_DIR",
 8         "cp -R $$(pwd)/../../../../../external/com_github_libevent_libevent/* $$TMP_DIR",
 9         "cd $$TMP_DIR",
10         "./autogen.sh",
11         "./configure --prefix=$$INSTALL_DIR CFLAGS=-fPIC CXXFLAGS=-fPIC --enable-shared=no --disable-openssl",
12         "make install",
13         "rm -rf $$TMP_DIR",
14     ]),
15 )

动态库查找问题

有个库用到了boost。boost太大没有包含到项目里,放在另一个目录里,但是bazel找不到库目录,虽然已经export了LIBRARY_PATH和LD_LIBRARY_PATH。但是实际执行时是:

1 exec env - \
2     LD_LIBRARY_PATH=:/home/myaccount/boost_1_68_0/release/lib/ \
3     PATH=/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/usr/local/apache-hive-2.3.3-bin:/usr/local/apache-hive-2.3.3-bin:/home/xxj/.local/bin \
4     PWD=/proc/self/cwd \
5     TMPDIR=/tmp \

因为没有传递LIBRARY_PATH,所以boost库找不到。LIBRARY_PATH和LD_LIBRARY_PATH的区别见:

https://stackoverflow.com/questions/4250624/ld-library-path-vs-library-path

IBRARY_PATH is used by gcc before compilation to search directories containing static libraries that need to be linked to your program.
LD_LIBRARY_PATH is used by your program to search directories containing shared libraries after it has been successfully compiled and linked.

解决方案就在通过--action_env指定。

1 bazel build //3rdlib/test:bintest --action_env=LIBRARY_PATH=:/home/myaccount/boost_1_68_0/release/lib/

https://bazel.build/designs/2016/06/21/environment.html

Currently, Bazel provides a cleaned set of environment variables to the actions in order to obtain hermetic builds.

If the effective option for a variable has an unspecified value, the value from the invocation environment of Bazel is taken.

所以这里也可以不给LIBRARY_PATH指定值,这样就会直接使用环境变量。

1 bazel build //3rdlib/test:bintest --action_env=LIBRARY_PATH

 

proto处理

https://blog.bazel.build/2017/02/27/protocol-buffers.html

定义一个proto_library和对应的cc_proto_library。

 1 proto_library(
 2         name = "http_proto",
 3         srcs = [
 4                 "http.proto",
 5         ],
 6 )
 7 
 8 cc_proto_library(
 9         name = "http_cc_proto",
10         deps = [":http_proto"],
11 )

这里cc_proto_library的deps一定要指向proto_library。

https://docs.bazel.build/versions/master/be/c-cpp.html#cc_proto_library

然后对应的cc_binary可以依赖到它和它产生的文件:

1 cc_binary(
2     name = "http_server",
3     srcs = ["http_server.cpp"],
4         deps = [
5                 ":http_cc_proto",
6                 "//3rdlib/brpc-0.9.5:brpc",
7         ],
8 )

不过要想include生成的.pb.h文件,需要用相对于workspace的相对路径才行。

待定问题

1. -fopenmp这类参数没法继承。比如某个库编译需要用到-fopenmp。那么依赖到的binary的copts也要加上这个。现在还没有其他方案。

1 copts = [ 
2     '-fopenmp',
3     '-march=native',
4 ],

 

posted @ 2018-12-17 21:06  linyx  阅读(23838)  评论(1编辑  收藏  举报