ParamousGIS - 博客园

2018年7月5日

摘要： SPARK_MASTER_HOST=sparkmaster.smartmap.comSPARK_MASTER_PORT=7077SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=1024MSPARK_MASTER_WEBUI_PORT=8080SPARK_CONF_DIR=/app/spark/spark-2.3.0-bin-hadoop2.7/conf JAVA_... 阅读全文

posted @ 2018-07-05 22:58 ParamousGIS 阅读(167) 评论(0) 推荐(0) 编辑

01-01基于SHELL的数据分析

摘要： #!/usr/bin/env bashfor year in /root/Downloads/data/all/*doecho -ne `basename $year .gz`"\t"gunzip -c $year | \awk '{ temp = substr($0, 88, 5) + 0; q = substr($0, 93, 1); if (temp != 9999 &&... 阅读全文

posted @ 2018-07-05 22:31 ParamousGIS 阅读(206) 评论(0) 推荐(0) 编辑

2018年6月16日

ArcGIS Server + ArcGIS Portal 10.5

摘要： 1.安装IE112。域名需要在C:\Windows\System32\drivers\etc\host文件中添加127.0.0.1 机器名.域名win2008.smartmap.com192.168.1.1803.DNS查询域名3.tomcat8的配置cd C:\Program Files\Apache Software Foundation\Tomcat 8.5mkdir keystorecd... 阅读全文

posted @ 2018-06-16 20:45 ParamousGIS 阅读(431) 评论(0) 推荐(0) 编辑

2018年5月24日

HBase安装与应用

摘要： 1. 参考说明参考文档： https://hbase.apache.org/book.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境主机名 NameNode SecondaryNameNode DataNodes centoshadoop.smartmap.com 192.168.1.8... 阅读全文

posted @ 2018-05-24 17:51 ParamousGIS 阅读(624) 评论(0) 推荐(0) 编辑

Sqoop安装与应用过程

摘要： 1. 参考说明参考文档： http://sqoop.apache.org/ http://sqoop.apache.org/docs/1.99.7/admin/Installation.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境主机名 NameNode SecondaryNameNode Dat... 阅读全文

posted @ 2018-05-24 09:18 ParamousGIS 阅读(366) 评论(0) 推荐(0) 编辑

2018年5月23日

Hive安装与应用过程

摘要： 1. 参考说明参考文档： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境主机名 NameNode SecondaryNameNode DataNodes centosh... 阅读全文

posted @ 2018-05-23 01:11 ParamousGIS 阅读(2241) 评论(0) 推荐(0) 编辑

2018年5月21日

Pig安装与应用

摘要： 1. 参考说明参考文档： http://pig.apache.org/docs/r0.17.0/start.html#build 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境主机名 NameNode SecondaryNameNode DataNodes centoshadoop.smartmap... 阅读全文

posted @ 2018-05-21 00:37 ParamousGIS 阅读(722) 评论(0) 推荐(0) 编辑

2018年5月20日

Ubuntu-16.04-Desktop +Hadoop2.7.5+Eclipse-Neon的云计算开发环境的搭建(伪分布式方式)

摘要：主控终端主机名 ubuntuhadoop.smartmap.com IP 192.168.1.60 Subnet mask 255.255.255.0 Gateway 192.168.1.1 DNS 218.30.19.50 61.134.1.5 Search domain... 阅读全文

posted @ 2018-05-20 19:17 ParamousGIS 阅读(324) 评论(0) 推荐(0) 编辑

CentOS7.4 + Hadoop2.7.5安装配置管理（伪分布式）

摘要： 1. 规划1.1. 机器列表 NameNode SecondaryNameNode DataNodes 192.168.1.80 192.168.1.80 192.168.1.80 1.2. 机器列表机器IP 主机名用户组/用户 192.168.1.80 centosha... 阅读全文

posted @ 2018-05-20 19:09 ParamousGIS 阅读(363) 评论(0) 推荐(0) 编辑

CentOS7.4 + Hadoop2.9安装配置管理（分布式）

摘要： 1. 规划1.1. 机器列表 NameNode SecondaryNameNode DataNodes 192.168.1.121 192.168.1.122 192.168.1.101 192.168.1.102 192.168.1.103 1.2. 机器列表 ... 阅读全文

posted @ 2018-05-20 19:02 ParamousGIS 阅读(387) 评论(0) 推荐(0) 编辑

CentOS7.4+MongoBD3.6.4集群(Shard)部署以及大数据量入库

摘要：前言 mongodb支持自动分片，集群自动的切分数据，做负载均衡。避免上面的分片管理难度。mongodb分片是将集合切合成小块，分散到若干片里面，每个片负责所有数据的一部分。这些块对应用程序来说是透明的，不需要知道哪些数据分布到哪些片上，甚至不在乎是否有做过分片，应用程序连接mongos进程，mongos知道数据和片的对应关系，将客户端请求转发到正确的片上，如果请求有了响应，mongos... 阅读全文

posted @ 2018-05-20 17:55 ParamousGIS 阅读(717) 评论(0) 推荐(0) 编辑

2018年5月19日

CentOS7.4 + Ambari 2.6.1.5 + HDP 2.6.4.0 安装部署

摘要： 1. 参考说明参考文档： https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html 2. 安装环境说明 2.1. 环境说明主控终端计阅读全文

posted @ 2018-05-19 16:07 ParamousGIS 阅读(3858) 评论(1) 推荐(1) 编辑

Ubuntu 16.04.4 LTS + Ambari 2.6.1.5 + HDP 2.6.4.0 安装部署

摘要：服务器主机名 master slave1 slave2 slave3 IP 192.168.1.40 192.168.1.41 192.168.1.42 192.168.1.43 离线包服务器： 192.168.1.50 1.启用root账号 1)sudo passwd root 2)sudo v 阅读全文

posted @ 2018-05-19 06:06 ParamousGIS 阅读(1091) 评论(0) 推荐(0) 编辑

2018年5月14日

分布式业务的异常解决思路

摘要：传统意义上的事务被定义在数据层面，它是指一组原子操作，这组原子操作必须按照既定的顺序全部执行成功。如果某一个或者多个原子操作失败，则回退所有之前的原子操作到原来的状态。事务的特点主要有四个：原子性（ Atomicity ）、一致性（ Consistency ）、隔离性（ Isolation ）和持久性（ Durability ）。 ... 阅读全文

posted @ 2018-05-14 11:15 ParamousGIS 阅读(5185) 评论(0) 推荐(0) 编辑

2018年5月13日

RPC簡介

摘要： RPC 技术原理 RPC ( Remote Procedure Call Protocol，远程过程调用协议）: 客户端在不知道调用细节的情况下，调用存在于远程计算机上的某个对象，就像调用本地应用程序中的对象一样。 1.RPC要点RPC 是协议：既然是协议就只是一套规范规则，也就需要有人遵循这套规范来进行实现。目前典型的 RPC 实现包括： dubbo （注意是小写的，不... 阅读全文

posted @ 2018-05-13 20:10 ParamousGIS 阅读(325) 评论(0) 推荐(0) 编辑

网络I/O模型--07Netty基础

摘要： Netty 是由 JBOSS 提供的一个 Java 开源框架。 Netty 提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。 Netty 框架是对 Java BIO 、 Java NIO 框架的再次封装。 Netty 框架是一个面向上层业务实阅读全文

posted @ 2018-05-13 19:16 ParamousGIS 阅读(405) 评论(0) 推荐(0) 编辑

网络I/O模型--06异步I/O

摘要：异步I/O （又称为 AIO ）则是采用“订阅一通知”工作模式：即应用程序向操作系统注册I/O监听，然后继续做自己的事情。当操作系统发生I/O事件，并且准备好数据后，再主动通知应用程序，触发相应的函数。异步I/O也必须由操作系统进行支持。微软Windows系统提供了一种异步I/O技术阅读全文

posted @ 2018-05-13 15:51 ParamousGIS 阅读(218) 评论(0) 推荐(0) 编辑

网络I/O模型--05多路复用I/O

摘要：多路复用I/O模型在应用层工作效率比我们俗称的 BIO 模型快的本质原因是，前者不再使用操作系统级别的“同步 I／O”模型。在 Linux 操作系统环境下，多路复用 I/O 模型就是技术人员通常简称的 NIO 技术。多路复用I/O 目前具体的实现主要包括四种： select、 poll , e 阅读全文

posted @ 2018-05-13 10:51 ParamousGIS 阅读(245) 评论(0) 推荐(0) 编辑

2018年5月12日

网络I/O模型--04非阻塞模式（解除accept()、 read()方法阻塞）的基础上加入多线程技术

摘要：由于应用程序级别并没有使用多线程技术，这就导致了应用程序只能一个一个地对Socket 套接字进行处理。这个 Socket 套接宇没有处理完，就没法处理下一个 Socket 套接字。针对这个问题还是可以进行改进的：让应用程序层面上各个 Socket 套接字的处理相互不影响。服务端代码引入了多阅读全文

posted @ 2018-05-12 20:46 ParamousGIS 阅读(398) 评论(0) 推荐(0) 编辑

网络I/O模型--03非阻塞模式（ServerSocket与Socket的超时处理）--解除accept()、 read()方法阻塞

摘要：对于阻塞方式的一种改进是在应用程序层面上将 “一直等待 ”的状态主动打开：这种模式下，应用程序的线程不再一直等待操作系统的 I/O状态，而是在等待一段时间后就解除阻塞。如果没有得到想要的结果，则再次进行相同的操作。这样的工作方式，保证了应用程序的线程不会一直阻塞，而可以进行一些其他工作一一例如阅读全文

posted @ 2018-05-12 20:42 ParamousGIS 阅读(568) 评论(0) 推荐(0) 编辑

网络I/O模型--02阻塞模式（多线程）

摘要：当服务器收到客户端 X 的请求后（读取到所有请求数据后），将这个请求送入一个独立线程进行处理，然后主线程继续接收客户端 Y 的请求。客户端一侧也可以使用一个子线程和服务器端进行通信。这样客户端主线程的其他工作就不受影响了，当服务器端有响应信息时再由这个子线程通过监听模式／观察模式或者类似的其他设计阅读全文

posted @ 2018-05-12 20:26 ParamousGIS 阅读(280) 评论(0) 推荐(0) 编辑

网络I/O模型--01阻塞模式（普通）

摘要：很长一段时间内，大多数网络通信方式都是阻塞模式，即： · 客户端向服务器端发出请求后，客户端会一直处于等待状态（不会再做其他事情），直到服务器端返回结果或者网络出现问题。 · 服务器端同样如此，当在处理某个客户端 A 发来的请求时，另一个客户端 B 发来的请求会等待，直到服务器端的处理线程完成阅读全文

posted @ 2018-05-12 20:18 ParamousGIS 阅读(322) 评论(0) 推荐(0) 编辑

2018年5月11日

网络协议基础知识

摘要：首先需要大致说明一下基础的IP/TCP报文（ IP 报文和 TCP报文是两种不同的报文格式），以及链路层对 IP 数据的封装方式链路层报文链路层的数据格式有一个共同特点，都包括目标 MAC 地址和源 MAC 地址。如图所示主要说明了最常用的 Ethernet 帧（以太帧）的报文格式。网阅读全文

posted @ 2018-05-11 18:32 ParamousGIS 阅读(525) 评论(0) 推荐(0) 编辑

Nginx

摘要： 1.查找安装路径whereis nginx2.检查配置文件nginx.conf 是否正确 ./nginx –t3.启动、停止nginxcd /usr/local/nginx/sbin/./nginx ./nginx -s stop./nginx -s quit./nginx -s reload./nginx -s quit # 此方式停止步骤是待nginx进程处理任务完毕进行停止。./ngi... 阅读全文

posted @ 2018-05-11 17:48 ParamousGIS 阅读(221) 评论(0) 推荐(0) 编辑

Web 系统架构一般组成

摘要：负载层技术负载分配层，是单指利用软件实现的计算机系统上的狭义负载均衡。它是根据业务形态设计一种架构方式，将来自外部客户端的业务请求分担到每一个可用的业务节点上。1.用户终端不只包括类似于PC 、 Android 手机、平板电脑这样的终端设备。还包括向服务节点发送请求的任何其他服务节点 2.不同的业务处理节点有两个层面的含义：1)多次同一种类型的请求可以分配到同一个业务系统的不同... 阅读全文

posted @ 2018-05-11 15:32 ParamousGIS 阅读(616) 评论(0) 推荐(0) 编辑

分布式系统常见的问题

摘要： 1.性能问题系统模块的 TPS/OPS （每秒请求／事务数量）开始出现上涨时，系统可能会出现莫名其妙的错误，要么就是大量客户端请求超时，要么就是磁盘 I/O 尤其是写操作时特别高，要么就是数据库出现无数的表锁。原因多种多样，有可能是 Linux 操作系统的若干参数没有优化，有可能是基础设施薄弱，还有可能是数据表设计阶段没有联系业务方进行聚集索引和非聚集索引的调整。调优... 阅读全文

posted @ 2018-05-11 15:24 ParamousGIS 阅读(1104) 评论(0) 推荐(0) 编辑

2018年5月4日

Scala + Thrift+ Zookeeper+Flume+Kafka配置笔记

摘要： 1. 开发环境1.1. 软件包下载1.1.1. JDK下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装到 D:\GreenSoftware\Java\Java8X64\jdk1.8.0_91 目录1.1.2. Maven下载地址https://maven.apache.... 阅读全文

posted @ 2018-05-04 11:54 ParamousGIS 阅读(696) 评论(0) 推荐(0) 编辑

2018年4月29日

Spring Boot—21Actuator--监控

摘要： https://docs.spring.io/spring-boot/docs/2.0.1.RELEASE/reference/htmlsingle/pom.xml mysql mysql-connector-java 8.0.11 com.alibaba druid-spring-boot-starter 1.1.9 org.springframewor... 阅读全文

posted @ 2018-04-29 20:57 ParamousGIS 阅读(378) 评论(0) 推荐(0) 编辑

Zookeeper

摘要：参考 https://blog.csdn.net/qiunian144084/article/details/79192819 https://www.cnblogs.com/smail-bao/p/7009633.html 1.下载Zookeeper并解压下载地址为： http://zookee 阅读全文

posted @ 2018-04-29 18:53 ParamousGIS 阅读(168) 评论(0) 推荐(0) 编辑

Spring Boot—20Zookeeper

摘要： https://docs.spring.io/spring-boot/docs/2.0.1.RELEASE/reference/htmlsingle/pom.xml mysql mysql-connector-java 8.0.11 org.apache.curator curator-framework 2.12.0 org.apache.curator... 阅读全文

posted @ 2018-04-29 18:52 ParamousGIS 阅读(242) 评论(0) 推荐(0) 编辑

Spring Boot—19Session

摘要： pom.xm application.properties Redis的Session配置类RedisSessionManagerConfiguration，主要是实现JSON格式的系列化 RedisTemplate的配置 Redis缓存配置RedisCacheManagerCustomizer 缓阅读全文

posted @ 2018-04-29 12:01 ParamousGIS 阅读(474) 评论(0) 推荐(0) 编辑

2018年4月28日

Spring Boot—19Cache

摘要： pom.xml application.properties 启动类配置类实体类 Menu 实体类 MenuNode 缓存应用 Controller类阅读全文

posted @ 2018-04-28 17:27 ParamousGIS 阅读(295) 评论(0) 推荐(0) 编辑

Spring Boot—18Redis

摘要： pom.xml application.properties 启动类注册Redis消息监听 Redis消息处理类 Redis配置类 JSON转换配置类实体类 User 实体类Department DAO类 Service类 Controller类完！阅读全文

posted @ 2018-04-28 11:00 ParamousGIS 阅读(179) 评论(0) 推荐(0) 编辑

2018年4月26日

Redis

摘要： 1.下载Redis软件包并解压https://github.com/MicrosoftArchive/redis 2.打开配置文件redis.windows.conf和redis.windows-service.conf，修改如下的内容 maxmemory 1024000000requirepass 阅读全文

posted @ 2018-04-26 18:49 ParamousGIS 阅读(314) 评论(0) 推荐(0) 编辑

Spring Boot—17MongoDB

摘要：在MongoDB中插入如下的数据 pom.xml application.properties 启动类实体类Baike 实体类Comment DAO类（强大的MongoTemplate） Service类 Controller类阅读全文

posted @ 2018-04-26 14:20 ParamousGIS 阅读(436) 评论(0) 推荐(0) 编辑

2018年4月25日

Spring Boot—16日志设置

摘要： application.properties logback.xml 阅读全文

posted @ 2018-04-25 19:44 ParamousGIS 阅读(288) 评论(0) 推荐(0) 编辑

Spring Boot—15SpringJPA

摘要： pom.xml application.properties 数据库连接池的配置强大的JpaRepository 实体User 实体Department Serivce类 RestController类阅读全文

posted @ 2018-04-25 19:28 ParamousGIS 阅读(275) 评论(0) 推荐(0) 编辑

Spring Boot—14JdbcTemplate

摘要： pom.xml application.properties 连接池的配置类 SQL DAO类 Service类 RestController类阅读全文

posted @ 2018-04-25 19:09 ParamousGIS 阅读(248) 评论(0) 推荐(0) 编辑

Redis在windows下安装过程(转载)

摘要：转载自（http://www.cnblogs.com/M-LittleBird/p/5902850.html）一、下载windows版本的Redis 官网以及没有下载地址，只能在github上下载，官网只提供linux版本的下载官网下载地址：http://redis.io/download gi 阅读全文

posted @ 2018-04-25 18:52 ParamousGIS 阅读(451) 评论(0) 推荐(0) 编辑

MongoDB

摘要： 1.创建配置文件mongod.cfg，内容如下：systemLog: destination: file path: D:\GreenSoftware\MongodbV3.6\data\log\mongod.logstorage: dbPath: D:\GreenSoftware\MongodbV3 阅读全文

posted @ 2018-04-25 15:25 ParamousGIS 阅读(227) 评论(0) 推荐(0) 编辑

公告