PhysX 和 NavMesh 在服务器的应用
https://cloud.tencent.com/developer/article/1006053
一、 引言
本文源于一个简单的想法 “在LINUX服务器进程中,加载Unity搭建的场景,并驱动AI在客户端的行为”,这个想法引发了一系列的思考:
- 物理引擎的选择
- 如何从Unity导出场景
- 如何用PhysX加载场景,并验证其正确性
- 如何驱动AI寻路
- 等等
带着上面的问题,作者花了大概两周的时间完成了组件选型、搭建、测试验证的工作,也整理完了这篇文章,分享给有相同疑问的同事。 因此,本文主要侧重于工作流的介绍和工具的使用,原理的介绍只会在必须的情况下提及,更多的原理需要大家去自行查阅,比如PhysXAPI的使用、CharacterController的应用、Detour库的使用等,可以详读最后一节的参考文献。
下面开始,会逐步解决上面的问题,另外,列举一下文中用到的组件列表,方便大家提前查阅。
- PhysX
- PhysX Visual Debugger(PVD)
- UnityPhysXExport
- RecastNavigation
- Microsoft Visual Studio
- Premake5
首先是物理引擎的选择,这里选择了PhysX,主要有两个原因:
- 开源,支持Unity\UE3\UE4
- 有很多成功的游戏,已经成为腾讯内部的主流技术选型
下一节开始,会开始介绍Linux环境下PhysX环境的搭建。
二、 Linux环境PhysX搭建
1. 下载
下载PhysX,首先需要申请加入NVIDIAGameWorks,进入NVIDIA官网,找到PhysX下载页,然后按步骤操作就好,系统会自动审核,大概10分钟就可以搞定了。
得到授权后,可以进入github主页下载版本,地址如下:https://github.com/NVIDIAGameWorks/PhysX-3.4
2. 编译
PhysX的编译十分简单,github上写的也很清楚,开发机是linux64环境,所以直接进入PhysX-3.4-master/PhysX_3.4/Source/compiler/linux64文件夹,输入make执行即可,编译成功会生成一系列的静态和动态库。
[root@SH-todo-1412181717 /data/physx/PhysX-3.4-master/PhysX_3.4]# find -name "*.a"
./Lib/linux64/libLowLevelCHECKED.a
./Lib/linux64/libLowLevelAABBCHECKED.a
./Lib/linux64/libLowLevelDynamicsCHECKED.a
./Lib/linux64/libLowLevelClothCHECKED.a
./Lib/linux64/libLowLevelParticlesCHECKED.a
./Lib/linux64/libPhysX3VehicleCHECKED.a
./Lib/linux64/libPhysX3ExtensionsCHECKED.a
./Lib/linux64/libSceneQueryCHECKED.a
./Lib/linux64/libSimulationControllerCHECKED.a
./Lib/linux64/libLowLevelDEBUG.a
./Lib/linux64/libLowLevelAABBDEBUG.a
./Lib/linux64/libLowLevelDynamicsDEBUG.a
./Lib/linux64/libLowLevelClothDEBUG.a
./Lib/linux64/libLowLevelParticlesDEBUG.a
./Lib/linux64/libPhysX3VehicleDEBUG.a
./Lib/linux64/libPhysX3ExtensionsDEBUG.a
./Lib/linux64/libSceneQueryDEBUG.a
./Lib/linux64/libSimulationControllerDEBUG.a
./Lib/linux64/libLowLevelPROFILE.a
./Lib/linux64/libLowLevelAABBPROFILE.a
./Lib/linux64/libLowLevelDynamicsPROFILE.a
./Lib/linux64/libLowLevelClothPROFILE.a
./Lib/linux64/libLowLevelParticlesPROFILE.a
./Lib/linux64/libPhysX3VehiclePROFILE.a
./Lib/linux64/libPhysX3ExtensionsPROFILE.a
./Lib/linux64/libSceneQueryPROFILE.a
./Lib/linux64/libSimulationControllerPROFILE.a
./Lib/linux64/libLowLevel.a
./Lib/linux64/libLowLevelAABB.a
./Lib/linux64/libLowLevelDynamics.a
./Lib/linux64/libLowLevelCloth.a
./Lib/linux64/libLowLevelParticles.a
./Lib/linux64/libPhysX3Vehicle.a
./Lib/linux64/libPhysX3Extensions.a
./Lib/linux64/libSceneQuery.a
./Lib/linux64/libSimulationController.a
./Snippets/lib/linux64/libSnippetUtilsCHECKED.a
[root@SH-todo-1412181717 /data/physx/PhysX-3.4-master/PhysX_3.4]# find -name "*.so"
./Bin/linux64/libPhysX3GpuCHECKED_x64.so
./Bin/linux64/libPhysX3GpuDEBUG_x64.so
./Bin/linux64/libPhysX3GpuPROFILE_x64.so
./Bin/linux64/libPhysX3Gpu_x64.so
./Bin/linux64/libPhysX3CommonCHECKED_x64.so
./Bin/linux64/libPhysX3CHECKED_x64.so
./Bin/linux64/libPhysX3CharacterKinematicCHECKED_x64.so
./Bin/linux64/libPhysX3CookingCHECKED_x64.so
./Bin/linux64/libPhysX3CommonDEBUG_x64.so
./Bin/linux64/libPhysX3DEBUG_x64.so
./Bin/linux64/libPhysX3CharacterKinematicDEBUG_x64.so
./Bin/linux64/libPhysX3CookingDEBUG_x64.so
./Bin/linux64/libPhysX3CommonPROFILE_x64.so
./Bin/linux64/libPhysX3PROFILE_x64.so
./Bin/linux64/libPhysX3CharacterKinematicPROFILE_x64.so
./Bin/linux64/libPhysX3CookingPROFILE_x64.so
./Bin/linux64/libPhysX3Common_x64.so
./Bin/linux64/libPhysX3_x64.so
./Bin/linux64/libPhysX3CharacterKinematic_x64.so
./Bin/linux64/libPhysX3Cooking_x64.so
PhysX提供DEBUG和RELEASE库,使用DEBUG库编译可以连接PVD进行调试,另外,因为执行时需要动态链接,所以也需要把动态库的路径添加到ld.so.conf配置中,完成配置后执行ldconfig刷新,同时也可以执行ldconfig -p进行检查是否添加成功。
[root@SH-todo-1412181717 /data/physx/PhysX-3.4-master/PhysX_3.4]# cat /etc/ld.so.conf
include ld.so.conf.d/*.conf
/data/physx/PhysX-3.4-master/PxShared/bin/linux64/
/data/physx/PhysX-3.4-master/PhysX_3.4/Bin/linux64/
3. DEMO测试
这里选择的是PhysX-3.4-master/PhysX_3.4/Snippets/SnippetHelloWorld.cpp进行测试,首先需要修改代码中的snippetMain为main,不然编译时会找不到main函数。同时编写makefile,这里的链接顺序不要错了,makefile内容如下
BINARY = $(patsubst %.cpp,%,$(wildcard *.cpp))
DEBUG_FLAG=-g -Werror -Wall -fPIC -fno-strict-aliasing -I ../../Include/ -I ../../../PxShared/include/ -DNDEBUG \
-L ../../Bin/linux64/ \
-lPxFoundationDEBUG_x64 \
-lPhysX3CommonDEBUG_x64 \
-lPhysX3DEBUG_x64 \
-lPhysX3CookingDEBUG_x64 \
-lPhysX3PROFILE_x64 \
-lPhysX3CommonPROFILE_x64 \
-lPhysX3CharacterKinematicDEBUG_x64 \
-L ../../Lib/linux64/ \
-lLowLevel \
-lPhysX3Extensions \
-l PhysX3Vehicle \
-l SceneQuery \
-l SimulationController \
-L ../../../PxShared/bin/linux64/ \
-lPxFoundationDEBUG_x64 \
-lPxPvdSDKDEBUG_x64 \
-lPxFoundationPROFILE_x64 \
-lPxPvdSDKPROFILE_x64 \
-L ../../../PxShared/lib/linux64/ \
-lPsFastXmlDEBUG \
-lPxCudaContextManagerDEBUG \
-lPxTaskDEBUG \
-lpthread -ldl -rdynamic
RELEASE_FLAG = -Werror -Wall -fPIC -fno-strict-aliasing -I ../../Include/ -I ../../../PxShared/include/ -DNDEBUG \
-L ../../Bin/linux64/ \
-lPxFoundation_x64 \
-lPhysX3Common_x64 \
-lPhysX3_x64 \
-lPhysX3Cooking_x64 \
-lPhysX3PROFILE_x64 \
-lPhysX3CommonPROFILE_x64 \
-lPhysX3CharacterKinematic_x64 \
-L ../../Lib/linux64/ \
-lLowLevel \
-lPhysX3Extensions \
-l PhysX3Vehicle \
-l SceneQuery \
-l SimulationController \
-L ../../../PxShared/bin/linux64/ \
-lPxFoundation_x64 \
-lPxPvdSDK_x64 \
-lPxFoundationPROFILE_x64 \
-lPxPvdSDKPROFILE_x64 \
-L ../../../PxShared/lib/linux64/ \
-lPsFastXml \
-lPxCudaContextManager \
-lPxTask \
-lpthread -ldl -rdynamic
#all:$BINARY)
all:SnippetHelloWorld.cpp
g++ SnippetHelloWorld.cpp $(DEBUG_FLAG)
这里只编译SnippetHelloWorld.cpp测试,执行make all即可,生成a.out,执行a.out测试是否成功。
三、 PVD调试
上一小节,已经完成了PhysX在服务器端的编译,下面我们开始测试PVD和服务器进程的连通调试。
首先介绍一下PVD的工作原理,PVD启动后会监听127.0.0.1:5425端口,服务器上启动的进程,需要连接上PVD进行,连通后PVD界面上会出现服务器创建的场景。
1. PVD安装
PVD安装十分简单,进入NVIDA官方下载页,下载安装即可,启动后可以看到PVD的主界面,同时在当前机器上,telnet 127.0.0.1 5425可以连通,说明PVD正常启动,并监听端口成功。
下面是连接的示例代码:
gFoundation = PxCreateFoundation(PX_FOUNDATION_VERSION, gAllocator, gErrorCallback);
gPvd = PxCreatePvd(*gFoundation);
PxPvdTransport* transport = PxDefaultPvdSocketTransportCreate(PVD_HOST, 5425, 10);
if ( transport == NULL ) {
printf("Transport Create failed\n");
}
int ret = gPvd->connect(*transport,PxPvdInstrumentationFlag::eALL);
printf ("connect ret:%d\n", ret);
2. 搭建反向隧道
当前公司的LINUX开发机无法直接连上办公区的开发机,这里需要建立反向隧道。这里的反向隧道是把LINUX开发机上127.0.0.1:5425的请求,转到办公区的开发机上,这里才能实现和PVD的连通。
Mac开发机上建反向隧道比较简单,执行ssh -N -f -R 5425:127.0.0.1:5425 username@10.12.234.153 -p 36000就可以,其中10.12.234.153是开发机。
Windows开发机相对麻烦一些,作者先用的openssh测试,启动后进程没有常驻,最后用putty解决了,putty的配置如下所示:
![](https://ask.qcloudimg.com/draft/1039572/x9d5y00tjy.jpg)
配置完成后,点击open,登陆完成后,就可以连接上了。
这时可以在Linux开发机上telnet 127.0.0.1 5425端口,如果可以连通,就说明反向隧道已经建立成功。
3. 连通PVD测试
在Linux开发机上执行a.out,可以在PVD上看到服务器进程创建的场景,下图中的测试场景是从一个UNITY测试场景导出的。
![](https://ask.qcloudimg.com/draft/1039572/anwybrdtk0.jpg)
下面开始介绍如何从一个UNITY测试场景导出在PhysX中可以加载的场景。
4. 场景导出
下载UnityPhysXExport(Github:github.com/tnqiang/UnitySceneExport2PhysX3
),并按照说明操作,可以导出一份xml文件,需要注意的是,要把场景加到BuildSettings中,导出文件如下所示:
<PhysX30Collection version="3.3.4" >
<UpVector >0 0 0</UpVector>
<Scale >
<Length >0</Length>
<Mass >0</Mass>
<Speed >10</Speed>
</Scale>
<PxMaterial >
<Id >2253976624</Id>
<DynamicFriction >0.6</DynamicFriction>
<StaticFriction >0.6</StaticFriction>
<Restitution >0</Restitution>
<FrictionCombineMode >eAVERAGE</FrictionCombineMode>
<RestitutionCombineMode >eAVERAGE</RestitutionCombineMode>
</PxMaterial>
服务器端的加载配置并添加到场景中的代码如下:
//load config
PxDefaultFileInputData inputData("./MainScence.xml");
PxCollection * collection = PxSerialization::createCollectionFromXml(inputData, *cooking, *registry );
if (NULL == collection) {
printf("CreateCollectionFromXml failed\n");
return;
}
//create scene
PxSceneDesc sceneDesc(gPhysics->getTolerancesScale());
sceneDesc.gravity = PxVec3(0.0f, -9.81f, 0.0f);
gDispatcher = PxDefaultCpuDispatcherCreate(2);
sceneDesc.cpuDispatcher = gDispatcher;
sceneDesc.filterShader = PxDefaultSimulationFilterShader;
gScene = gPhysics->createScene(sceneDesc);
gScene->addCollection(*collection);
四、 从Unity场景导出NavMesh
从Unity场景导出NavMesh的方法,查到的资料主要有两种方法,这两种方法都是基于Recastnavigation库。
方法一是使用CritterAI库,安装插件到Unity中,项目地址在https://github.com/kbengine/unity3d_nav_critterai ,项目主页上介绍的方法比较简单,但依赖于地形数据,比较耗性能,网上还有一篇采用query_tag选项导出的方法,尝试多次后没有成功,所以放弃了这一方法。
方法二是直接使用Recastnavigation库,这里主要介绍下这种方法的导出过程。
Recast/Detour在线手册http://masagroup.github.io/recastdetour/index.html ,有兴趣的同学可以研究下。
1. 导出场景描述的OBJ文件
从wiki上的源码,生成两个cs文件ObjExporter.cs和EditorObjExporter.cs
http://wiki.unity3d.com/index.php?title=ObjExporter
把两个文件放到当前项目Assets/Editor文件夹下,然后选择一个网格对象,在 Custom 菜单中根据需要选择导出为 Obj 文件,文件将被保存在项目目录中,扩展名为.obj的文件。
![](https://ask.qcloudimg.com/draft/1039572/6gy9ddmntn.png)
2. 安装Recastnavigation库
首先要从github主页下载项目,https://github.com/recastnavigation/recastnavigation。
下载完后,根据主页上的说明,下载premake5,放到RecastDemo下,通过cmd命令行,生成vs2010依赖的编译文件,premake5的使用方法这里不再介绍,执行的命令如下:
premake5.exe —os=windows vs2010
然后需要下载SDL2库,进入http://www.libsdl.org/download-2.0.php ,下载SDL2-devel-2.0.5-VC.zip即可,下载完成后放到RecastDemo/Contrib目录下,如下图所示:
![](https://ask.qcloudimg.com/draft/1039572/ld2y0v10h7.png)
用vs2015打开项目,执行编译(如果出现了连接错误,可以尝试将项目——项目属性——配置属性——连接器——清单文件——嵌入清单 “是”改为“否”),编译成功后,可以在bin目录下找到RecastDemo.exe文件,双击打开即可。Demo中提供了两个测试场景,在InputMesh中选择其中一个进行加载,关于Recastnavigation的使用,这里不再详述.
![](https://ask.qcloudimg.com/http-save/yehe-900000/383a84825834fbb080b1aa8f8edcd1c8.png)
![](https://ask.qcloudimg.com/draft/1039572/x4s7fuj0qh.png)
3. 导入场景文件,导出NavMesh文件
把上面导出的.obj文件放到Bin/Meshes下,然后选择目标obj文件,执行Build,即可完成NavMesh的构建,如下图所示:
![](https://ask.qcloudimg.com/draft/1039572/koeypdyaal.png)
右侧支持调整参数,调整完成后点击build可以再次生成,确认OK后点击save即可生成服务器可以使用的navmesh.bin文件。
五、 服务器加载NavMesh文件
1. Linux环境,Recastnavigation环境搭建
服务器加载NavMesh文件,需要用到Recastnavigation中的Detour库,所以,首先需要在Linux开发环境,搞完编译问题。
把之前下载的Recastnavigation,在Linux下解压,并在Detour的Source目录下创建makefile,Detour库没有任何外部的依赖,所以编译比较简单,编译生成一个静态库。
OBJS = $(patsubst %.cpp,%.o,$(wildcard *.cpp))
FLAG=-g -Werror -Wall -fPIC -fno-strict-aliasing -I ../Include/
TARGET = libdetour.a
all:$(TARGET)
$(TARGET):$(OBJS)
ar q $@ $(OBJS)
%.o:%.cpp
g++ -c $< $(FLAG)
clean:
rm -rf $(TARGET) $(OBJS)
编译成功后,在之前的demo编译的makefile中,加下对Detour库的链接。
DETOUR = -I /data/physx/recastnavigation-master/Detour/Include/ -L /data/physx/recastnavigation-master/Detour/Source/ -l detour
#all:$BINARY)
all:SnippetHelloWorld.cpp
g++ SnippetHelloWorld.cpp $(DEBUG_FLAG) $(DETOUR)
2. 加载NavMesh文件
加载NavMesh文件,需要用到Detour中的dtNavMesh类,类提供了Init接口,但是使用RecastDemo导出的bin文件,不能直接用使用Init接口打开,因为这里用到了自定义的头部结构,头部结构定义在Sample_TileMesh.cpp中,如下所示:
struct NavMeshSetHeader
{
int magic;
int version;
int numTiles;
dtNavMeshParams params;
};
struct NavMeshTileHeader
{
dtTileRef tileRef;
int dataSize;
};
RecastDemo生成的文件头部是NavMeshSetHeader结构,而不是MeshHeader,这里官方没有一个很好的说明,详细可以看下面的加载代码:
FILE* fp = fopen(path, "rb");
if (!fp) return 0;
// Read header.
NavMeshSetHeader header;
size_t readLen = fread(&header, sizeof(NavMeshSetHeader), 1, fp);
if (readLen != 1)
{
fclose(fp);
return 0;
}
if (header.magic != NAVMESHSET_MAGIC)
{
fclose(fp);
return 0;
}
if (header.version != NAVMESHSET_VERSION)
{
fclose(fp);
return 0;
}
dtNavMesh* mesh = dtAllocNavMesh();
if (!mesh)
{
fclose(fp);
return 0;
}
dtStatus status = mesh->init(&header.params);
if (dtStatusFailed(status))
{
fclose(fp);
return 0;
}
初始化成功后,就可以读取所有的Tiles
// Read tiles.
for (int i = 0; i < header.numTiles; ++i)
{
NavMeshTileHeader tileHeader;
readLen = fread(&tileHeader, sizeof(tileHeader), 1, fp);
if (readLen != 1)
{
fclose(fp);
return 0;
}
if (!tileHeader.tileRef || !tileHeader.dataSize)
break;
unsigned char* data = (unsigned char*)dtAlloc(tileHeader.dataSize, DT_ALLOC_PERM);
if (!data) break;
memset(data, 0, tileHeader.dataSize);
readLen = fread(data, tileHeader.dataSize, 1, fp);
if (readLen != 1)
{
fclose(fp);
return 0;
}
mesh->addTile(data, tileHeader.dataSize, DT_TILE_FREE_DATA, tileHeader.tileRef, 0);
}
gMeshQuery = dtAllocNavMeshQuery();
if (!gMeshQuery) {
printf("alloc nav mesh query failed\n");
return -1;
}
static int max_node = 1024;
status = gMeshQuery->init(mesh, max_node);
if (dtStatusFailed(status)) {
printf("nav query init failed\n");
return -1;
}
到此,navmesh结构已经构建完成,MeshQuery对象也完成初始化,下一步可以用MeshQuery对象进行寻路。
3.关于坐标系
在寻路测试中,碰到一个很奇怪的问题,在LINUX寻路控制一个角色移动时,发现角色会穿墙,对比了RacastDemo中的测试路径和PVD中的移动轨迹发现二者是镜像关系,这才发现原来是坐标系的问题。
Unity采用的是左手坐标系,PVD中可选左手\右手,当然这里设置的是左手,而RecastNavigation中采用的是右手坐标系。
![](https://ask.qcloudimg.com/draft/1039572/sykkopn8fg.png)
实测发现,RacastNavigatoin里的坐标点和Unity中的坐标点,只有X坐标是反的。 也就是说Unity中的(20, 1, 30),对应NavMesh中应该是(-20, 1, 30)。 所以这里在调用Detour API的时候,坐标系的X坐标需要乘上-1转换为右手坐标系,得到的路径点座标结果,也需要再乘上-1,还原为左手坐标系。
这里建议大家把坐标转换封装起来,对上层调用的人来说,就不需要关注坐标的问题了。
4. 寻路测试
下面,我们来测试下服务器的寻路,这里的测试方法是,在RecastDemo中选择一个路径,在服务器上输出起始点,在PVD上观察角色移动的路径,是否和RecastDemo中一致。
首先我们在RecastDemo中选择一个测试路径:
![](https://ask.qcloudimg.com/draft/1039572/zryfcuqyd8.png)
起点在(24.53, 0, -18.70), 终点在(-24.03, 0, 27.95).
在服务器上输出起始点,因为坐标系的原因,这里的X是取反的,另外,因为Y轴没有变化,所以暂不输出Y坐标。
start:-24.530001 0.000000 -18.700001
end:24.030001 0.000000 27.950001
start_poly:5505024 end_poly:7143425
path_count = 26
straight_path_count:9
24.530001 0.000000 -18.700001
30.800003 0.200000 -15.999999
30.500004 0.200000 -13.899999
14.000003 0.200000 4.700002
-1.899998 0.200000 23.000004
-10.899999 0.200000 29.000004
-13.899999 0.200000 32.900002
-15.999999 0.200000 33.200005
-24.030001 0.000000 27.950001
测试一共经过9个点后,到达目标。
在PVD上,可以看到实际的模拟情况,这里抽取了几个截图。
![](https://ask.qcloudimg.com/draft/1039572/vuh83dzc0g.jpg)
测试结果显示,服务器的寻路结果和RecastDemo中是一致的。
六、 总结
回头我们最初的问题,如何从“Unity中,导出物理场景给服务器使用,同时借助NavMesh实现在场景中的角色导路”,借助于上面的工具,这个问题已经实现,最后我们再总结下具体的工作流。
工作流启动于Unity中的场景修改后,需要依次执行以下步子骤:
- 使用UnityPhysXExport生成PhysX加载的配置,同步到服务器,现在的格式是XML文件。
- 导出场景描述文件.obj,采用RacastDemo生成.bin文件,同步到服务器,现在是二进制的bin文件。
- 连接PVD,检查步骤1生成的配置是否OK;测试几次寻路点,检查步骤2生成的NavMesh文件是否OK。
最后附上参考资料和API手册。