Python&R语言-将Python和R整合进一个数据分析流程

命令行脚本

通过Windows 或Linux终端环境命令行运行R和Python脚本类似。要运行的命令被分解成以下部分:
<command_to_run> <path_to_script> <any_additional_arguments>

---

参数说明

▲<command>  是可执行的命令 （R代码中是 Rscript， Python代码中是Python）
▲<path_to_script>是执行脚本所在的完整或相对文件路径。需要注意的是，如果在路径名中有空格，整个文件路径必须用双引号括起来。
▲<any_additional_arguments>这是空格分隔的参数列表用来解析脚本本身。请注意，这些不能作为字符串传递。
例如，打开一个终端环境并运行R脚本，命令如下：Rscript path/to/myscript.R arg1 arg2 arg3

请注意以下问题：

对于Rscript 和Python 命令必须在你所在的路径中执行，否则你需要提供文件的完整路径。含有空格符的路径名会产生问题，尤其是在Window系统中，因此必须用双引号括起来，这样才被认为是一个单独的文件路径。

R语言中访问命令行参数

上面的例子中，arg1，arg2 和 arg3是用来解析可执行R脚本的参数，可以使用commandArgs函数访问

##myscript.py 
#获取命令行参数 
myArgs <- commandArgs(trailingOnly = TRUE) 
#myArgs是所有参数的特征向量 
print(myArgs) print(class(myArgs))

通过设置trailingOnly 为TRUE，myArgs向量中只包含添加到命令行的参数。如果默认设置为FALSE ，myArgs向量中还包含其它参数，比如刚被执行的脚本路径。

Python语言中访问命令行参数

通过下面的命令行执行Python脚本：

python path/to/myscript.py arg1 arg2 arg3

通过在Python脚本中导入sys模块访问arg1, arg2 和arg3参数。 sys模块包含了系统具体的参数和函数，在这里，我们只对 argv的属性感兴趣。这个argv属性是所有被传递到当前正在执行脚本的参数列表。表中的第 一个元素是正在被执行的脚本的完整路径。

# myscript.py 
import sys 
# 获取命令行参数 
my_args = sys.argv 
# my_args 是一个列表，其中的第一个元素是执行的脚本 
print(type(my_args)) 
print(my_args)

如果你只希望保留传递到脚本的参数，你可以使用列表切片来选择除了第一个元素以外的所有参数。

# 使用切片，选择除第一个以外的所有元素
my_args = sys.argv[1:]

回顾一下上面的R语言例子，所有的参数需要以字符串的形式传递，因此有必要转换为所期望的数据类型。
将输出结果写入文件。

通过中间文件共享R和Python之间的数据有几种选择。通常，对于普通文本文件，CSVs是很好的表格数据格式，而处理可变长字段或许多嵌套数据结构的非结构化数据（或元数据）形式时，JSON 或YAML是最好的数据格式。
这些都是很常见的数据序列化格式，在R和Python中已存在相应的语法解析器。

在R语言中推荐下面的程序包：

● 对于CSV文件，使用readr
● 对于JSON文件，使用jsonlite
● 对于YAML文件，使用yaml

Python中推荐：

○ 对于CSV文件，使用csv
○ 对于JSON文件，使用json
○ 对于YAML文件，使用PyYAML

csv 和json模块是Python标准的库文件，是Python内置模块，而PyYAML需要额外安装程序包。所有的R程序包均需要安装。

总结

R和Python之间的数据传递可以通过单一传递途径进行：
△使用命令行传递参数
△使用常见的结构化文本文件传递数据
然而，在某些实例中，需要将文本文件作为中间文件存储在本地，这不仅很麻烦而且还影响性能。接下来，我们将讨论如何在R和Python中直接调用并在内存中输出。

命令行执行和执行子进程

为了更好地理解在执行子进程的时候发生了什么，值得重新考虑当命令行运行一个Python 或 R进程中更多的细节。在运行下面的命令时，启动了一个新的 Python 进程执行该脚本。

在执行过程中，任何被输出到标准输出和标准错误流的数据会返回到控制台显示。最常见的实现方式是通过Python中的一个内置函数print()或 是 R中的函数 cat()和 print()，它们将给定字符串的写入标准输出流。一旦脚本执行完毕，Python进程随即关闭。

在这种方式下运行命令行脚本是有用的，但如果希望用这个方法执行多个连续却相互独立脚本时，就变得繁琐，并且容易出错。然而，这可能让一个 Python或R进程直接去执行另一个类似的命令。这样有好处，即从一个Python父进程启动一个R中的子进程去运行特定的脚本，进而完成分析。一旦R 脚本运行完毕，R中子进程的输出不是被传到控制台，而是返回到父进程中。使用这种方法除去了手动单独执行命令行的步骤。

为了说明一个进程的执行是由另一个进程引起的，我们将会用两个简单的例子：一个是Python调用R，另一个是R调用Python。我们人为降低了每个案例中分析结果的重要性，以便把重点放在机器是如何的实现的过程上。

R脚本范例

我们简单的R脚本例子要从命令行获取一系列数字并返回最大值。

# max.R 
# 获取命令行参数 
myArgs <- commandArgs(trailingOnly = TRUE) 
# 转换成数字类型 
nums = as.numeric(myArgs) 
# cat将把结果写入标准输出流 
cat(max(nums))

在Python中执行R脚本

我们需要利用子进程的模块，也就是标准库的一部分，来实现从Python中进行调用。我们将使用函数check_output 来调用 R 脚本，执行命令并存储标准输出的结果。

想要在Python中调用R来执行 max.R脚本，首先要建立要运行的命令。在Python中的形式以一个字符串列表表示，其相应的元素如下所示:[‘’, ‘’, ‘arg1’ , ‘arg2’, ‘arg3’, ‘arg4’]

下面代码是运行在Python中调用R的一个例子：

# run_max.py 
import subprocess 
# 定义命令和参数 
command = ‘Rscript’ 
path2script = ‘path/to your script/max.R’ 
# args变量的值是一个列表 
args = [’11’, ‘3’, ‘9’, ’42’] 
#建立子进程命令 
cmd = [command, path2script] + args 
# check_output会执行命令并存储结果 
x = subprocess.check_output(cmd, universal_newlines=True) 
print(‘The maximum of the numbers is:’, x)

参数 universal_newlines=True 告诉 Python 把返回的输出结果解释为文本字符串，并处理 Windows 和 Linux 的换行字符。如果省略了这个，则输出结果会被作为一个字节的字符串返回，同时在进行任何字符串进一步操作之前必须调用x.decode()来解码成文本。

Python脚本范例

在我们简单的 Python 脚本中，我们将给定的字符串(第一个参数)拆分为基于所提供的字符串模式的多个子字符串 (第二个参数)。然后，结果以每行一个子字符串的形式输出到控制台。

# splitstr.py 
import sys 
# 获取传入的参数 
string = sys.argv[1] 
pattern = sys.argv[2] 
#执行分割 
ans = string.split(pattern) 
#把所产生的元素列表合成一个新命令行 
# 分割字符串并打印 
print(‘\n’.join(ans))

在R中调用Python

当用R执行子进程时，建议使用 R 的system2函数来执行并获取输出。这是因为内置的系统函数跨平台不兼容，非常难使用。
建立要执行的命令是类似于上面的 Python 例子，然而system2 期望命令根据它的参数被分解开来。此外，这些参数首先必须总是正在执行的脚本的路径。
最后一个困难可能是R脚本路径名称中的空格处理引起的。解决这一问题最简单的方法是为全路径名称加上双引号，然后用单引号封装此字符串，这样，R保留参数本身的双引号。
下面的代码中，给出在R 中执行 Python 脚本的实例。

	# run_splitstr.R 
	command = “python” 
	#注意在字符串中的单引号和双引号（如果路径名中有空格，这是必须的） 
	path2script='”path/to your script/splitstr.py”‘ 
	# 设置args成向量 
	string = “3523462—12413415—4577678—7967956—5456439” 
	pattern = “—” 
	args = c(string, pattern) 
	# 把脚本路径加入，成为第一个arg参数 
	allArgs = c(path2script, args) 
	output = system2(command, args=allArgs, stdout=TRUE) 
	print(paste(“The Substrings are:\n”, output))

为了获取标准输出中的特征向量（每个元素一行），stdout=TRUE 必须在system2中具体说明，不然返回的只是退出状态。当stdout=TRUE时，退出状态存储在一个名为“状态”的属性中。

通过子进程调用，可以将Python和R整合到一个应用程序中。这允许一个父进程调用另一个进程作为子进程，并获取任何输出到标准输出的结果。

来源：大数据文摘

---