2 pygraphviz在windows10 64位下的安装问题（反斜杠的血案）

可以负责任的说，这篇文档是windows10安装pygraphviz中，在中文技术网站中最新的文档，没有之一。是自己完全结合各种问题，包括调试等，总结出来的。

问题来源：主要是可视化RvNN网络的树结构。

pygraphviz安装时，我参考了博文http://www.myexception.cn/perl-python/2046792.html。但是，文章的解决方案已经失效。

已有博文存在的问题：windows下pygraphviz‑1.3.1‑cp34‑none‑win_amd64.whl文件无法适用于python3.6版本

站在巨人的肩膀上。

前述作者在上述博文链接中阐述，windows10下安装pygraphviz要去http://www.lfd.uci.edu/~gohlke/pythonlibs/的地址下载python packages在windows平台上的安装包。

但是，现在这个资源已经404.

其提供的过程就是：先安装graphviz，然后使用如下命令安装pygraphviz

pip install pygraphviz‑1.3.1‑cp27‑none‑win_amd64.whl

很遗憾，虽然网上没有这些资源了，我在csdn上还是找到了如下版本：

可惜，python是3.6，使用这个，依旧安装失败。

 

因为只在python3.4版本上才能使用。

基于pygraphviz源码包的方式安装

先安装graphviz-2.38.msi文件。是官网上的。

第一个问题：缺失vc14

去官网下载代码。

https://github.com/pygraphviz/

直接python setup.py install，会报出找不到vc14版本的相关错误。

但是信息不够详细。于是，spyder带参数install调试setup.py程序，看究竟是哪一步出了问题。

在spyder console键入：

 

然后一直跟踪到出错的位置：

调试pygraphviz的setup.py 并且带参数”install” 调试，以后发现，其出错函数在这里：

执行以后会提示：

 

那么对于这个函数，里面有这样一段说明：

Microsoft Visual C++ 14.0:

        Microsoft Visual C++ Build Tools 2015 (x86, x64, arm)

        Microsoft Visual Studio 2017 (x86, x64, arm, arm64)

        Microsoft Visual Studio Build Tools 2017 (x86, x64, arm, arm64)

也就是说：安装对应的即可。

找到了相应的Microsoft Visual C++ 14.0 builder的生成器。但是由于我的电脑安装了vs2015，因此产生冲突。所以，我升级visual studio为2017版本。下载界面在：

https://visualstudio.microsoft.com/zh-hans/thank-you-downloading-visual-studio/?sku=Professional&rel=15&rr=https%3A%2F%2Fdocs.microsoft.com%2Fzh-cn%2Fvisualstudio%2Freleasenotes%2Fvs2017-relnotes#

 

def msvc14_get_vc_env(plat_spec):

    """

    Patched "distutils._msvccompiler._get_vc_env" for support extra

    compilers.

 

    Set environment without use of "vcvarsall.bat".

 

    Known supported compilers

    -------------------------

    Microsoft Visual C++ 14.0:

        Microsoft Visual C++ Build Tools 2015 (x86, x64, arm)

        Microsoft Visual Studio 2017 (x86, x64, arm, arm64)

        Microsoft Visual Studio Build Tools 2017 (x86, x64, arm, arm64)

 

    Parameters

    ----------

    plat_spec: str

        Target architecture.

 

    Return

    ------

    environment: dict

    """

    # Try to get environment from vcvarsall.bat (Classical way)

    try:

        return get_unpatched(msvc14_get_vc_env)(plat_spec)

    except distutils.errors.DistutilsPlatformError:

        # Pass error Vcvarsall.bat is missing

        pass

 

    # If error, try to set environment directly

    try:

        return EnvironmentInfo(plat_spec, vc_min_ver=14.0).return_env()

    except distutils.errors.DistutilsPlatformError as exc:

        _augment_exception(exc, 14.0)

        raise

 因此，下载Microsoft Visual C++ 14.0并且安装。但是提示Visual studio2015版本和它不兼容。于是，又升级2015版本到2017版本，然后再执行这个程序。成功。这个程序我是从csdn上下载的，后续会放到本文末尾的附件链接当中。

第二个问题：缺失头文件

pygraphviz/graphviz_wrap.c(2987): fatal error C1083: Cannot open include file: 'graphviz/cgraph.h': No such file or directory
error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\BIN\\x86_amd64\\cl.exe' failed with exit status 2

此时，修改setup.py文件，添加如下代码。这是因为pygraphviz要对一个graphviz_wrap.c文件进行编译，因此就要设置头文件和库文件的包含路径。

 

注意，实际lib是在release下。

第三个问题：cannot open input file 'cdt.lib'

虽然添加了头文件路径和库文件路径，但是会提示无法打开lib文件。

我们发现，错误是在执行running build_ext时，注意，ext就是extension的意思，也就是在python程序中调用编译器编译C语言的相关文件。

可以看到：C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\cl.exe对文件进行编译的时候，里面已经添加了"-IC:\Program Files (x86)\Graphviz2.38\include"的头文件路径，解决了之前头文件缺失的问题。

但是，在执行后续C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\link.exe
即链接所有库，生成可执行程序的时候，却提示无法打开cdt.lib文件，我们看到这里面的寻址路径中并没有之前修改setup.py文件中添加的那句话：

library_dirs=['C:\Program Files (x86)\Graphviz2.38\lib\release\lib']

但是，修改setup.py文件时添加的include_dirs=['C:\Program Files (x86)\Graphviz2.38\include']

确实生效了。

为什么在setup.py中添加library_dirs之后，再调用VC的链接程序，并没有向指定库文件路径下寻找cdt.lib呢？

这是问题的根本所在。启动调试进程，调试setup.py文件。在spyder的console端键入如下：

debugfile('H:/pygraphviz-master-wrong2/setup.py', args='install', wdir='H:/pygraphviz-master-wrong2')

跟踪上图中setup函数中的执行，尤其是对ext_modules的数据处理。跟踪这个数据处理，就能找到哪里引用了include_dirs，哪里引用了library_dirs。

数据就是通道

我们需要找到输出异常的位置，离它越近越好，就像逼近真相。

查看出错时的输出信息，有如下最关键的地方：

  • running build_ext
  • building 'pygraphviz._graphviz' extension

然后跟踪程序执行，会在python的系统文件dist.py中有run_commands的函数

这里面就有running %s的输出。那么我相信关键进程就在cmd_obj.run()中。正是这个执行过程，里面出错。

所以，log.info处下断点，当输出running buid_ext之后，进入run的函数内部：run内部又会跟进到了build_ext.py文件的核心函数run中：

里面会对compiler编译器进行设置，一直到执行self.build_extensions函数。

跟入该函数，

然后，在console端调试：

这里面的extension的命名“pygraphviz._graphviz”和setup.py文件中指定的命名是一致的。

也就是说，到目前为止：

已经找到了对setup.py文件中extension进行处理的核心代码，继续跟踪就会知道library_dirs为什么会失效。

跟踪进入cython_sources函数，就会看到：sources在第一个for循环中正是extension除去名称之后的第一行。

我们在cython_sources中下断点，直到sources是library-dirs的那一行。

可惜，直接一次循环就报出了本文所出现的link.exe链接的错误。

于是，直接跟入build_extension函数，就第一次循环就跟进去：如下，

我们输出可以看到：

我们跟进compile函数，确实没有给library_dirs进行赋值的选项。

继续跟，跟完compile以后，发现compile只是进行了编译操作。

会输出：

ipdb> C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\cl.exe /c /nologo /Ox /W3 /GL /DNDEBUG /MD "-IC:\Program Files (x86)\Graphviz2.38\include" -IC:\ProgramData\Anaconda3\include -IC:\ProgramData\Anaconda3\include "-IC:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\INCLUDE" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.10240.0\ucrt" "-IC:\Program Files (x86)\Windows Kits\8.1\include\shared" "-IC:\Program Files (x86)\Windows Kits\8.1\include\um" "-IC:\Program Files (x86)\Windows Kits\8.1\include\winrt" /Tcpygraphviz/graphviz_wrap.c /Fobuild\temp.win-amd64-3.6\Release\pygraphviz/graphviz_wrap.obj

现在，继续在build_extension中跟入：

这个就是链接过程。也就是在python程序中调用c编译器编译c目标程序时，会执行的函数。

我们跟进去。

ipdb> print (ext.library_dirs)
['C:\\Program Files (x86)\\Graphviz2.38\\lib\release\\lib']

这也说明，确确实实是传入进去了。我们进入这个函数：

一直跟到里面的一个link函数时，我们发现有问题！

 也就是，传入的library_dirs已经变成了

C:\Program Files (x86)\Graphviz2.38\lib

elease\lib

这是什么鬼！！！

里面有一个_fix_lib_args的操作，但是可以看到：

lib路径已经错了。本来应该是lib\\release\lib的，却变成了libelease\lib了。

 然后一直进入到：

 self.spawn([self.linker] + ld_args)

我们可以输出如下：

结果这里面输出的ld_args竟然是：

C:\\Program Files (x86)\\Graphviz2.38\\lib\release\\lib'

千万不要以为是正确的地址。正确的是C:\\Program Files (x86)\\Graphviz2.38\\lib\\release\\lib。

我们来观察一下：

ld_args = (ldflags + lib_opts + export_opts + objects + ['/OUT:' + output_filename])

然后ld_args是：

猛地一看，还是错误的。为什么在console端用print(ld_args )输出的是：

C:\\Program Files (x86)\\Graphviz2.38\\lib\release\\lib'

这是因为，你没有双击开。你双击开看到的是：

看到了吗？这是windows下的换行符号\r。在控制台输出的时候变成了\r。

在spyder中查看的时候，是换行。

而实际上：

目前为止，真正传入的就是这么个玩意：

/LIBPATH:C:\Program Files (x86)\Graphviz2.38\lib

elease\lib

也就是说，是换行符号\r。

我们双击点开libopts也是一样的。libopts是构成ld_args的重要组成。所以，后面的就不用跟了。

link程序必然出错。因为找不到cdt.lib文件。所以，link.exe程序必然失败，报出1181错误。

现在已经知道怎么改了，就是把setup.py中路径的反斜杠，全部改为斜杠。但是我不能容忍不知道为什么传递的时候出错。

为什么在某个环节C:\\Program Files (x86)\\Graphviz2.38\\lib\release\\lib

变成了C:\\Program Files (x86)\\Graphviz2.38\\lib\release\\lib

我们会发现是在调用link_shared_object的时候出的错误：

此时调试输出的是：

当跟入函数以后：

所以，错误就是ext.library_dirs生成的过程出错。

那么就要追踪ext.library_dirs是如何依据setup.py文件中的extension项目生成的。

所以，关键是找到调用build_extension函数的地方，并且看是谁把值传入了ext。

现在开始倒推：

    def build_extensions(self):
        # First, sanity-check the 'extensions' list
        self.check_extensions_list(self.extensions)

        for ext in self.extensions:
            ext.sources = self.cython_sources(ext.sources, ext)
            self.build_extension(ext)

在进入这个函数的时候，输出仍然是：

ipdb> print (ext.library_dirs)
['C:\\Program Files (x86)\\Graphviz2.38\\lib\release\\lib']

所以，错误就在于生成self.extensions的过程中就已经注定了。

那么什么时候生成self.extensions的呢？

我们进入check_extensions_list函数，仍旧是输出的是错误的地址。

所以，错误的形成不是在build_extensions中。

而是在调用build_extensions之前，然后生成了self.extensions，里面包含了'扭曲"的地址。

那么就是build_ext类的问题了，因为它就是那个self。

我们通过观察build_ext的类结构，和快速的扫描代码，找到了。

它的finalize_options函数中对self.extensions进行了设置。

这个时候，刚刚执行完下面代码：

self.extensions = self.distribution.ext_modules

我们就在console端键入：

可以看出，已经错了。所以，错误的形成不是在self.extensions的生成中。

而是在self.distribution.ext_modules的生成中。于是，进一步倒推。

在build_ext中，并不能找到self.distribution的相关代码。我们发现，build_ext继承的是Command类。Command类中有self.distribution。

所以，我们就要关注于build_ext这个类对象的生成。

这个时候，就要重头开始调试，看哪个地方生成了build_ext这个类的对象引用。

  • 调试到run_command函数内部，下断点，当执行完log.info("running %s", command)以后输出的是running build_ext，我们继续下一步
  •         log.info("running %s", command)
        cmd_obj = self.get_command_obj(command)
        cmd_obj.ensure_finalized()
        cmd_obj.run()

肯定是在上面的三行代码中，完成了对build_ext类的生成，在这里完成了对self.distribution的操作。

首先跟入get_command_obj函数，感觉这个是最有可能对Command子类build_ext类对象的生成过程。因为从名字来看就是get_command_obj，并且注释是：

        """Return the command object for 'command'.  Normally this object
        is cached on a previous call to 'get_command_obj()'; if no command
        object for 'command' is in the cache, then we either create and
        return it (if 'create' is true) or return None.
        """

执行完第一行程序：

cmd_obj = self.command_obj.get(command)

由于之前是有：

self.extensions = self.distribution.ext_modules

所以我们直接在调试console输入：

结果发现：名称已经出错了！！！

那么问题肯定是在self.command_obj.get中了！！！它在生成build_ext类对象的时候，初始化父类Command的distribution成员时，就已经把地址”扭曲“了！！！

最遗憾的是！！！这个self.command_obj.get压根跟入不进去。很有可能代码不是开源的，只是作为功能提供在链接库当中。所以，这是一个bug。

什么bug???

呕血调试发现python的bug

就是在setup.py文件中的extension中写入library_dirs的时候，如果传入如下的地址：

library_dirs=['C:\Program Files (x86)\Graphviz2.38\lib\release\lib'],

那么出于某种原因，python系统，会将\r看作换行符。因此，在转变的过程中：

本来是要将\处理成\\的，但是这个\r被遗漏了。于是就产生了如下“扭曲”的地址

C:\\Program Files (x86)\\Graphviz2.38\\lib\release\\lib

最后，python中编译（setup.py文件中extension指定）的c程序，就会出现找不到库的问题。

于是乎，报告这个bug的同时，建议全部用斜杠/。

提交了bug，和处理结果（被老外狠狠的鄙视了一把，他不认为是bug）

回复：
msg3530 (view) Author: berker.peksag Date: 2018-08-20.16:26:32
remove
> In windows, we always give a path using '\' and python 3 can correctly dispose
> it just as we using '/' in Linux. But if you offer
> a path in windows with a '\' followed as 'r'. Everyting will goes wrong.

You need to use raw strings to avoid this. Replace

"C:\Program Files (x86)\Graphviz2.38\lib\release\lib"

with

r"C:\Program Files (x86)\Graphviz2.38\lib\release\lib"

See https://blog.lerner.co.il/avoiding-windows-backslash-problems-with-pythons-raw-strings/ for more details about raw strings.

This tracker is for issues with bugs.python.org. Please use Stack Overflow or python-list to ask usage questions.

老外不承认是bug。说，windows反斜杠的处理，要加r。嗯嗯。就这样吧。

第四个问题：unresolved external symbol agwrite

解决方案见网址：

https://github.com/pygraphviz/pygraphviz/issues/58

这里面说用64位lib下的库文件覆盖到目录lib下即可。也就是说这些unresolved是缺失了一些库。可以看到是生成_graphviz.cp36_win_amd64.lib的时候出错。这是因为安装的graphviz是32位的模块，缺失了很多库文件。

这个库，会放在本文附件里。

接着问题就能排除。
注意是将我附件中的\GraphViz_x64-master\graphviz-2.38_x64\lib放置到：

graphviz的msi安装程序之后的release的lib下面，而不是直接的lib下面C:\Program Files (x86)\Graphviz2.38\lib\release\lib。

但是，仅仅覆盖lib文件时不够的。否则在后续的测试程序中，import pygraphviz的时候回报错提示，dll win32位的有问题。

所以，除了lib路径需要特殊处理以外，需要把附件中GraphViz_x64-master\graphviz-2.38_x64中的

所有的内容全部覆盖到C:\Program Files (x86)\Graphviz2.38中去。（所以，你直接换个名字吧。具体见文末的总结）

 倒数第二个问题：unresolved external symbol PyIOBase_Type

仍然是下面的这个网址：

https://github.com/pygraphviz/pygraphviz/issues/58

里面提到：（在网络海量信息中去伪存真）

最后在如下这个网址：

https://github.com/pygraphviz/pygraphviz/issues/74#issuecomment-238323405

中找到：

 

点击进去（https://github.com/Kagami/pygraphviz/commit/fe442dc16accb629c3feaf157af75f67ccabbd6e）

就是一个补丁文件：

按照补丁文件对graphviz.i和pygraphviz/graphviz_wrap.c进行修改（我一行一行对着补丁改的。。。应该有依据补丁的自动化修改工具）。修改后的文件见附件。

最后一个问题，测试程序时输出ValueError: Program neato not found in path。

import pygraphviz as pgv
 
A=pgv.AGraph()
 
A.add_edge(1,2)
A.add_edge(2,3)
A.add_edge(1,3)
 
print(A.string()) # print to screen
print("Wrote simple.dot")
A.write('simple.dot') # write to simple.dot
 
B=pgv.AGraph('simple.dot') # create a new graph from file
B.layout() # layout with default (neato)
B.draw('simple.png') # draw png
print("Wrote simple.png")

上面是测试程序。通过搜集资料可知，是因为neato的问题。双击C:\Program Files (x86)\Graphviz2.38\bin下的neato，会报出异常。

如何解决，见文末总结。

附件

 链接：https://pan.baidu.com/s/18VKkVj_CupmvFwihdHwH8Q 密码：aqr7

总结，全部安装过程

  1. 安装graphviz-2.38.msi，这是官网提供的graphviz文件，安装位置是：C:\Program Files (x86)\Graphviz2.38\
  2. 安装vc14编译器，在visualcppbuildtools_full中，前提是安装了visual studio2017版本。
  3. pygraphviz-master的setup.py文件中按照前述指导，添加头文件和库文件目录路径。或者直接替换为我附件中提供的setup.py文件
  4. 如果此时直接python setup.py install，会提示很多的 error LNK2001: unresolved external symbol错误。这个时候，是因为安装的graphviz2.38不是64位版本。这个时候，是因为缺少64位graphviz的相关lib文件。（而且截止到目前为止，我都没有在graphviz中找到相关的明确指明为64位的安装包。我提供的64位的目录文件是从github上一个网页提供的资源上下载的）这个时候，我们将C:\Program Files (x86)\Graphviz2.38中的Graphviz2.38直接改为Graphviz2.38_msi，表示这个目录下是原始官网graphviz-2.38.msi安装后的文件目录。
  5. 然后将，附件中的H:\安装包和补丁文件\GraphViz_x64-master\GraphViz_x64-master\graphviz-2.38_x64完全复制到C:\Program Files (x86)下，并且改名为Graphviz2.38，同时将lib目录下的所有文件复制到lib\release\lib目录中。
  6. 此时，再python setup.py install安装会提示：LNK2001: unresolved external symbol PyIOBase_Type。按照前述指导，将附件中我按照前述网址指导的patch修改后的graphviz_wrap.c和graphviz.i文件替换到H:\pygraphviz-master\pygraphviz中去。
  7. 再次运行python setup.py install文件。成功。
  8. 运行前述测试程序。会提示：ValueError: Program neato not found in path。因为我提供的64位的graphviz中没有这个neato文件。事实上，我查了一下，gvplugin_neato_layout.dll文件是有的。唯独缺失neato.exe文件。我直接怀疑是https://github.com/mahkoCosmo/GraphViz_x64/的作者有意而为之。这种事情以前读研的时候遇到，BAP（一个二进制分析平台）的源码，我曾经一直在研究。后来全部源码被下架。实话讲，国内很多项目都是参照国外的开源代码。如果国外搞技术封锁，呵呵。。。。。。
  9. 如何解决？直接将C:\Program Files (x86)\Graphviz2.38_msi\bin写入系统的path变量中。然后重启spyder和Anaconda，即可。
  10. 得到最后的结果。结束。
  11. 有人会问，两个版本的graphviz（即一个国外提供的免安装版本，还一个是官网的版本）并存，会有影响吗？我的解释是，那就看pygraphviz是怎么写的了。但是到目前为止，没有遇到错误。编译和链接pygraphviz中的graphviz_wrap.c文件的时候，需要国外某作者提供的免安装版本的lib文件，官网的有缺失（或者说官网的64位版本能够支持pygraphviz需求的，已经找不到资源）。所以就必须要用国外提供的免安装版本。但是，国外免安装版本中的neato文件又被蓄意删去。这个时候，实际程序运行的过程中，pygraphviz会调用neato文件。因此，我们就把官网graphviz安装包安装后的路径写入到系统Path变量中。这样就能调用其neato程序。
  12. 如果有人还不明白的话，我这样解释吧。假如你只是将GraphViz_x64-master中的lib文件修改到C:\Program Files (x86)\Graphviz2.38中的lib\release\lib目录下，你编译，链接，都不会有问题。但是，你再运行测试程序的时候，直接import pygraphviz都会出错，会提示“DLL 不是有效的win32程序”（注意，win32不是说就是32位。64位也说是win32。）。为什么？这是因为，官网提供的graphviz，安装在64位系统以后，也是32位的模块。而目前压根找不到64位的模块。于是，只好用国外某作者可能蓄意删除neato程序以后的graphviz_x64文件的全部内容。然后再将pygraphviz运行时可能缺失的neato文件用原始msi安装后的neato文件进行补充。
  13. 所以，就是两版本兼容。
  14. 总的来说，pygraphviz很强势。但是为什么做的，连win10 64位下的安装支持的都不够好。原因未知。当哪天突然有人不想开源了，想做成商业化了，我估计这种情况会更多。正如本文最初提到的，连whl文件的地址都失效了。这不是技术封锁，是什么。
  15. 最后，我的附件中提供pygraphviz-1.3.1-cp34-none-win_amd64.whl文件。仅限于win 64位系统，以及python 3.4上使用。我没有实验过。但是python 3.6版本是肯定不行。我相信大部分人不会只为了装一个pygraphviz，而把python降低为3.4版本。

 

posted @ 2018-08-22 22:49  秦皇汉武  阅读(5100)  评论(4)  编辑  收藏  举报