2018年9月27日
pthon web框架flask（二）--快速入门
摘要： 快速入门 迫切希望上手？本文提供了一个很好的 Flask 介绍。假设你已经安装 Flask， 如果还没有安装话，请浏览下 安装 。 一个最小的应用 一个最小的应用看起来像这样: 1 from flask import Flask 2 app = Flask(__name__) 3 4 @app.ro 阅读全文
posted @ 2018-09-27 11:16 一直爬行的蜗牛牛 阅读(531) 评论(0) 推荐(0) 编辑
pthon web框架flask（一）
摘要： pthon web框架优劣： 知乎上有一个讨论Python 有哪些好的 Web 框架？，从这个讨论中最后我选择了flask，原因是： Django，流行但是笨重，还麻烦，人生苦短，肯定不选 web.py，轻量，但据说作者仙逝无人维护，好吧，先pass tornado，据说倡导自己造轮子，虽然是fac 阅读全文
posted @ 2018-09-27 11:13 一直爬行的蜗牛牛 阅读(310) 评论(0) 推荐(0) 编辑
2018年9月14日
给eclipse安装color-theme插件
摘要： 给eclipse安装color-theme插件 2016年03月22日 19:16:01 ming_love 阅读数：5193 标签： Eclipse Color Theme 更多 个人分类： java 给eclipse安装color-theme插件 2016年03月22日 19:16:01 min 阅读全文
posted @ 2018-09-14 17:47 一直爬行的蜗牛牛 阅读(2352) 评论(0) 推荐(0) 编辑
2018年9月12日
《Spark 官方文档》在Mesos上运行Spark
摘要： 本文转自：http://ifeve.com/spark-mesos-spark/ 在Mesos上运行Spark Spark可以在由Apache Mesos 管理的硬件集群中运行。 在Mesos集群中使用Spark的主要优势有： 可以在Spark以及其他框架（frameworks）之间动态划分资源。 阅读全文
posted @ 2018-09-12 17:48 一直爬行的蜗牛牛 阅读(945) 评论(0) 推荐(0) 编辑
spark集群安装部署
摘要： 通过Ambari(HDP)或者Cloudera Management (CDH)等集群管理服务安装和部署在此不多介绍，只需要在界面直接操作和配置即可，本文主要通过原生安装，熟悉安装配置流程。 1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 阅读全文
posted @ 2018-09-12 17:21 一直爬行的蜗牛牛 阅读(5646) 评论(0) 推荐(3) 编辑
yarn logs -applicationId命令java版本简单实现
摘要： 1 import java.io.DataInputStream; 2 import java.io.EOFException; 3 import java.io.FileNotFoundException; 4 import java.io.PrintStream; 5 6 import org.apache.commons.lang.StringUtils; 7... 阅读全文
posted @ 2018-09-12 16:28 一直爬行的蜗牛牛 阅读(3506) 评论(1) 推荐(0) 编辑
spark操作数据库的几种方法
摘要： 一.使用jdbcRDD的接口： 二.使用通过sparksession的接口： 阅读全文
posted @ 2018-09-12 11:43 一直爬行的蜗牛牛 阅读(2969) 评论(0) 推荐(0) 编辑
2018年9月10日
win7下配置spark
摘要： 1.安装jdk(配置JAVA_HOME,CLASSPATH,path) 2.安装scala(配置SCALA_HOME,path) 3.安装spark Spark的安装非常简单，直接去Download Apache Spark。有两个步骤： ● 选择好对应Hadoop版本的Spark版本，如下图中所示 阅读全文
posted @ 2018-09-10 16:14 一直爬行的蜗牛牛 阅读(1153) 评论(0) 推荐(0) 编辑
win7下本地运行spark以及spark.sql.warehouse.dir设置
摘要： 1 SparkSession spark = SparkSession 2 .builder() 3 .master("local[*]") 4 .enableHiveSupport() 5 .config("spark.sql.warehouse.d... 阅读全文
posted @ 2018-09-10 16:00 一直爬行的蜗牛牛 阅读(4130) 评论(0) 推荐(0) 编辑
2018年9月6日
hive使用spark引擎的几种情况
摘要： 使用spark引擎查询hive有以下几种方式：1>使用spark-sql(spark sql cli)2>使用spark-thrift提交查询sql3>使用hive on spark(即hive本身设置执行引擎为spark)针对第一种情况：1>ambari 已经支持，不需要特殊配置；2>cdh不支持 阅读全文
posted @ 2018-09-06 15:07 一直爬行的蜗牛牛 阅读(20818) 评论(0) 推荐(0) 编辑