摘要：
之前的两篇文章是搭建Spark环境，准备工作做好之后接下来写一个简单的demo，功能是统计本地某个文件中每个单词出现的次数。开发环境为Idea+Maven，开发语言为scala，首先我们要在Idea中下载scala的插件，具体如下： 一、Idea开发环境准备 1.下载scala插件 安装插件之前需确 阅读全文
摘要：
上一篇写了Hadoop分布式集群的安装以及配置过程，这一篇来继续spark的安装与配置，具体步骤如下： 一、准备工作 spark官网下载地址：http://spark.apache.org/downloads.html，选择spark版本和对应的hadoop版本，然后点击下面对应的下载链接。 我这里 阅读全文
摘要：
生命不息，折腾不止，趁着最近工作不是太忙继续我的编程之路的学习。 年龄大了，很多东西做过一遍就容易忘记，所谓“好记性不如烂笔头”，对于知识还是记录下来比较容易保存，既是给自己留个笔记，也可以分享给其他有需要的人。废话少说，以下记录我的spark学习之旅： 一、准备工作 1.准备三台服务器.一台作为m 阅读全文
摘要：
下为windows环境下的搭建过程，闲着无事记录一下，以备后用，也可以给新入门的做个参考。主要包括Python开发环境下载、安装、测试；IDE（我这里选择的是pycharm）下载、安装、配置，以及第一个hello world的运行，具体如下： 1：访问Python官网，地址：http://www.p 阅读全文
摘要：
--修改表的编码为utf8 alter table store_warehouse convert to character set utf8; --查看表中每个字段的字符集show full fields from store_warehouse; 阅读全文
摘要：
最近在调试代码的时候总是报Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (5566 > 1024). You can change this value on the server by 阅读全文
摘要：
一、zuul简介 服务网关是微服务架构中的入口，微服务平台通过服务网关统一向外部暴露API供客户端调用，网关除了具备服务路由、均衡负载功能之外，它还具备了权限控制等功能。在Spring Cloud中的Zuul就担任了这样的一个角色，为微服务架构提供了保护的作用，同时将权限控制这些较重的非业务逻辑内容 阅读全文
摘要：
一、Ribbon简介 Ribbon是Netflix发布的开源项目，主要功能是提供客户端的软件负载均衡算法，将Netflix的中间层服务连接在一起。Ribbon客户端组件提供一系列完善的配置项如连接超时、重试等。简单的说，就是在配置文件中列出Load Balancer（简称LB）后面所有的机器，Rib 阅读全文
摘要：
一、Feign简介 Feign是一种声明式、模板化的HTTP客户端。这使得Web服务客户端的写入更加方便 要使用Feign创建一个界面并对其进行注释。它具有可插入注释支持，包括Feign注释和JAX-RS注释。Feign还支持可插拔编码器和解码器。Spring Cloud增加了对Spring MVC 阅读全文
摘要：
安装docker 安装完成如下图： 启动docker后台服务 测试运行 hello-world 由于本地没有hello-world这个镜像，所以会下载一个hello-world的镜像，并在容器内运行。如下图： 到此，docker 在 CentOS 系统的安装完成。 阅读全文