2018年7月5日
架构面试题
摘要： 第一题作答：1. 数据结构如下1）用一个循环链表来存贮终端（Agents）向服务提交的发送通知请求，其数据结构如下public class RoundLinkedListNode { private string id; private int notificationTotal; private List notificationList; pr... 阅读全文
posted @ 2018-07-05 23:02 ParamousGIS 阅读(233) 评论(0) 推荐(0) 编辑
Spark安装
摘要： SPARK_MASTER_HOST=sparkmaster.smartmap.comSPARK_MASTER_PORT=7077SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=1024MSPARK_MASTER_WEBUI_PORT=8080SPARK_CONF_DIR=/app/spark/spark-2.3.0-bin-hadoop2.7/conf JAVA_... 阅读全文
posted @ 2018-07-05 22:58 ParamousGIS 阅读(167) 评论(0) 推荐(0) 编辑
01-01基于SHELL的数据分析
摘要： #!/usr/bin/env bashfor year in /root/Downloads/data/all/*doecho -ne `basename $year .gz`"\t"gunzip -c $year | \awk '{ temp = substr($0, 88, 5) + 0; q = substr($0, 93, 1); if (temp != 9999 &&... 阅读全文
posted @ 2018-07-05 22:31 ParamousGIS 阅读(206) 评论(0) 推荐(0) 编辑