摘要：
Spark基础 什么是spark 也是一个分布式的并行计算框架 spark是下一代的map reduce，扩展了mr的数据处理流程。 Spark架构原理图解 RDD[Resilient Distributed Dataset] 它是一个弹性分布式数据集,具有良好的通用性、容错性与并行处理数据的能力, 阅读全文
摘要：
spark 核心 spark core RDD创建 RDD转换 RDD缓存 RDD行动 RDD输出 RDD[Resilient Distributed Dataset] 它是一个弹性分布式数据集,具有良好的通用性、容错性与并行处理数据的能力，为用户屏蔽了底层对数据的复杂抽象和处理,为用户提供了一组方 阅读全文
摘要：
【任务8】将日志写入log(glog) glog简介 glog是google开源的一个日志系统,相比较log4系列的日志系统，它更加轻巧灵活，而且功能也比较完善 "glog配置使用资料" 下载glog 命令： 如果没有git命令： 编译glog 进入 目录，打开 文件，按照其中的提示步骤进行编译： 阅读全文
摘要：
【任务7】ab压测 安装 压测软件 命令： 进行压力测试： 执行命令： 参数解析 c:一次产生的请求个数,默认是一次一个 n:是所有的请求个数 测试如图： 阅读全文
摘要：
【任务6】tf和cgi进行联合试验，完成日志服务器 <! TOC "【任务6】tf和cgi进行联合试验，完成日志服务器" "改装gen cpp目录下client.cpp文件" "启动Nginx服务和gen cpp目录下编译后的"server"" "Makefile 文件修改为" "启动Nginx服务 阅读全文
摘要：
安装fcig <! TOC "安装fcig" "此步骤是为了让 能够识别自定义的demo" "编译文件" "自定义c文件" "测试成功后，启动spawn cgi进行代理托管" <! /TOC 此步骤是为了让 能够识别自定义的demo 下载fcgi： 解压安装包： 修改文件 1. 2. 3. 在头部添 阅读全文
摘要：
【任务4】搭建Nginx服务器 <! TOC "【任务4】搭建Nginx服务器" "下载Nginx源码包" "安装Nginx" "解压Nginx安装包" "安装Nginx依赖" "启动Nginx" "安装cgi" "下载cgi并解压安装包" "编译" "拷贝文件" <! /TOC 下载Nginx源码 阅读全文
摘要：
恢复内容开始 【任务3】多语言互通 <! TOC "【任务3】多语言互通" "说明" "server端" "client端(python)" "执行结果" "client端(C++)" "运行结果" "编译技巧(make操作)" <! /TOC 说明 client：python server：c++ 阅读全文
摘要：
【任务2】调通单机版的thrift C++版本 <! TOC "【任务2】调通单机版的thrift C++版本" "创建文件" "安装boost开发工具" "拷贝文件 [可忽略此步骤，如果c++代码直接编译无误的话]" "编译" <! /TOC 创建文件 1. 创建RecSys.thrift文件 2 阅读全文
摘要：
开发步骤说明 【任务1】调通单机版的thrift python版本 <! TOC "【任务1】调通单机版的thrift python版本" "安装thrift" "创建thrift模块文件并编译" "开发python版的client和server" <! /TOC 安装thrift 下载源码包 安装 阅读全文