papering - 博客园

2017年11月29日

https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

摘要： https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 阅读全文

posted @ 2017-11-29 14:06 papering 阅读(2743) 评论(0) 推荐(0)

These interactions can be expressed as complicated, large scale graphs. Mining data requires a distributed data processing engine

摘要： https://databricks.com/blog/2014/08/14/mining-graph-data-with-spark-at-alibaba-taobao.html 阅读全文

posted @ 2017-11-29 12:15 papering 阅读(196) 评论(0) 推荐(0)

2017年11月28日

vim 格式化代码

摘要： gg shift+v shift+g = 阅读全文

posted @ 2017-11-28 17:43 papering 阅读(129) 评论(0) 推荐(0)

mvn archetype

摘要： mvn archetype 阅读全文

posted @ 2017-11-28 16:01 papering 阅读(145) 评论(0) 推荐(0)

bash_action

摘要：通过进程号进入工作目录使用pwdx命令，这是最简单的方法，提供进程号，该命令就可以返回进程的工作目录。 pwdx 1312813128: /home/image/tianyi_to_biz pwdx 13128 | awk '{print $2}'/home/image/tianyi_to_biz 阅读全文

posted @ 2017-11-28 07:48 papering 阅读(603) 评论(0) 推荐(0)

mvn 管理 scala

摘要： scala 阅读全文

posted @ 2017-11-28 04:03 papering 阅读(126) 评论(0) 推荐(0)

mvn_action

摘要： Maven 仓库 | 菜鸟教程 https://www.runoob.com/maven/maven-repositories.html mvn jar 包加入时间戳实践：<version>${maven.build.timestamp}-SNAPSHOT</version><maven.bui 阅读全文

posted @ 2017-11-28 00:32 papering 阅读(184) 评论(0) 推荐(0)

2017年11月27日

mongo-java-driver

摘要： http://mvnrepository.com/artifact/org.mongodb/mongo-java-driver/3.5.0 阅读全文

posted @ 2017-11-27 23:53 papering 阅读(397) 评论(0) 推荐(0)

2017年11月26日

Linux下编译安装源码包软件 configure ,make, make install, make test/check, make clean 假目标

摘要： http://www.360doc7.net/wxarticlenew/541275971.html 一、程序的组成部分 Linux下程序大都是由以下几部分组成：二进制文件：也就是可以运行的程序文件库文件：就是通常我们见到的lib目录下的文件配置文件：这个不必多说，都知道帮助文档：通常是我们阅读全文

posted @ 2017-11-26 23:04 papering 阅读(4206) 评论(0) 推荐(0)

编译spark源码 Maven 、SBT 2种方式编译

摘要：由于实际环境较为复杂，从Spark官方下载二进制安装包可能不具有相关功能或不支持指定的软件版本，这就需要我们根据实际情况编译Spark源代码，生成所需要的部署包。 Spark可以通过Maven和SBT两种方式进行编译，再通过make-distribution.sh脚本生成部署包 Maven方式编译需阅读全文

posted @ 2017-11-26 09:53 papering 阅读(358) 评论(0) 推荐(0)

ES-Hadoop

摘要： ES-Hadoop 阅读全文

posted @ 2017-11-26 01:16 papering 阅读(134) 评论(0) 推荐(0)

多线程上下文切换诱因

摘要： 11. 标准库简介 —— 第二部分 — Python 3.11.3 文档 https://docs.python.org/zh-cn/3/tutorial/stdlib2.html 线程是一种对于非顺序依赖的多个任务进行解耦的技术。多线程可以提高应用的响应效率，当接收用户输入的同时，保持其他任务在后阅读全文

posted @ 2017-11-26 00:29 papering 阅读(634) 评论(0) 推荐(0)

用户态切换到内核态的3种方式

摘要： https://baike.baidu.com/item/核心态/6845908 在处理器的存储保护中，主要有两种权限状态，一种是核心态（管态），也被称为特权态；一种是用户态（目态）。核心态是操作系统内核所运行的模式，运行在该模式的代码，可以无限制地对系统存储、外部设备进行访问。中文名核心态又称阅读全文

posted @ 2017-11-26 00:19 papering 阅读(4475) 评论(0) 推荐(0)

2017年11月25日

vim_action

摘要： gg 到首行第一个非空白字符处 :$ 到尾行第一个非空白字符处 dG 删除全部 VI中的多行删除与复制 - CSDN博客 http://blog.csdn.net/wallwind/article/details/7633356 复制多行 23,34 co 78 将23-34行的复制到78行 :23 阅读全文

posted @ 2017-11-25 20:54 papering 阅读(199) 评论(0) 推荐(0)

import date

摘要： date 阅读全文

posted @ 2017-11-25 14:02 papering 阅读(199) 评论(0) 推荐(0)

__sizeof__()

摘要： https://bugs.python.org/issue2898 https://bugs.python.org/file10353/footprint.patch A new function, getsizeof(), takes a Python object and returns the 阅读全文

posted @ 2017-11-25 11:34 papering 阅读(322) 评论(0) 推荐(0)

classmethod staticmethod

摘要： decorator Glossary — Python 3.6.3 documentation https://docs.python.org/3/glossary.html decorator A function returning another function, usually appli 阅读全文

posted @ 2017-11-25 09:57 papering 阅读(233) 评论(0) 推荐(0)

Java对对象的引用不是引用调用而是按值引用 Java不存在引用调用

摘要： call by reference Java call by value 阅读全文

posted @ 2017-11-25 08:09 papering 阅读(254) 评论(0) 推荐(0)

多线程同步

摘要： w 阅读全文

posted @ 2017-11-25 00:10 papering 阅读(143) 评论(0) 推荐(0)

2017年11月24日

Does Hadoop require SSH?

摘要： https://wiki.apache.org/hadoop/FAQ#Does_Hadoop_require_SSH.3F Hadoop provided scripts (e.g., start-mapred.sh and start-dfs.sh) use ssh in order to sta 阅读全文

posted @ 2017-11-24 22:50 papering 阅读(140) 评论(0) 推荐(0)

hdfs namenode出错

摘要： http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 健壮性 HDFS的主要目标就是即使在出错的情况下也要保证数据存储的可靠性。常见的三种出错情况是：Namenode出错, Datanode出错和网络割裂(network partition 阅读全文

posted @ 2017-11-24 22:47 papering 阅读(311) 评论(0) 推荐(0)

软件项目的一致性语义描述

摘要： Maven wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo yum -y install apa 阅读全文

posted @ 2017-11-24 21:06 papering 阅读(391) 评论(0) 推荐(0)

定义构建软件的一般接口

摘要： maven成功的核心原因阅读全文

posted @ 2017-11-24 21:01 papering 阅读(175) 评论(0) 推荐(0)

NameNode和JobTracker的网络接口

摘要： Hadoop快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html 阅读全文

posted @ 2017-11-24 17:17 papering 阅读(192) 评论(0) 推荐(0)

Java-JDK-bin-Java-JR

摘要： Java in JDK\bin vs. Java in JRE\bin (Java in General forum at Coderanch) https://coderanch.com/t/385005/java/Java-JDK-bin-Java-JRE 阅读全文

posted @ 2017-11-24 16:14 papering 阅读(268) 评论(0) 推荐(0)

安装sbt

摘要： http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Linux.html [root@hadoop1 target]# curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo % Total % Received % Xferd Average Spe... 阅读全文

posted @ 2017-11-24 14:43 papering 阅读(377) 评论(0) 推荐(0)

ivy

摘要： ivy https://ant.apache.org/ivy/ Apache Ivy™ is a popular dependency manager focusing on flexibility and simplicity.Find out more about its unique ente 阅读全文

posted @ 2017-11-24 09:41 papering 阅读(190) 评论(0) 推荐(0)

解决pyspark-linux-windowsIDE JAVA_HOME not set

摘要：对阅读全文

posted @ 2017-11-24 09:12 papering 阅读(1289) 评论(0) 推荐(0)

Spark SQL is a Spark module for structured data processing.

摘要： http://spark.apache.org/docs/latest/sql-programming-guide.html 阅读全文

posted @ 2017-11-24 08:53 papering 阅读(148) 评论(0) 推荐(0)

a

摘要： a 搜索复制阅读全文

posted @ 2017-11-24 08:33 papering 阅读(128) 评论(0) 推荐(0)

2017年11月23日

公钥进行加密的数据，只能用私钥才能解密

摘要： https://zhuanlan.zhihu.com/p/28423720 阅读全文

posted @ 2017-11-23 23:07 papering 阅读(707) 评论(0) 推荐(0)

sbt is a build tool for Scala, Java, and more

摘要： http://www.scala-sbt.org/0.13/docs/index.html sbt is a build tool for Scala, Java, and more. It requires Java 1.6 or later. Install See Installing sbt 阅读全文

posted @ 2017-11-23 20:49 papering 阅读(342) 评论(0) 推荐(0)

MongoDB Spark Connector

摘要： [在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/python2.7] yum install git Note: The following instructions are intended for inter 阅读全文

posted @ 2017-11-23 20:35 papering 阅读(246) 评论(0) 推荐(0)

yum install git -- spark-mongo

摘要： https://github.com/mongodb/mongo-spark 阅读全文

posted @ 2017-11-23 20:32 papering 阅读(178) 评论(0) 推荐(0)

yum报错File "/usr/bin/yum", line 30 except KeyboardInterrupt, e:

摘要：原因：学python的时候，把centos7自带的python2.7改成了python3.6.2。而yum使用的是python2，所以会出现yum报错。解决方法：在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/ 阅读全文

posted @ 2017-11-23 20:27 papering 阅读(800) 评论(0) 推荐(0)

Provided Maven Coordinates must be in the form 'groupId:artifactId:version'.

摘要： [hadoop@hadoop1 bin]$ ./spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.10-2.2.1 Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Provided Maven C... 阅读全文

posted @ 2017-11-23 20:18 papering 阅读(1884) 评论(0) 推荐(0)

压缩解压压缩率

摘要： .gz gzip http://www.cnblogs.com/eoiioe/archive/2008/09/20/1294681.html http://www.cnblogs.com/linjiqin/archive/2013/03/24/2979736.html [root@hadoop1 l 阅读全文

posted @ 2017-11-23 17:44 papering 阅读(500) 评论(0) 推荐(0)

spark mongo 性能优化

摘要：性能优化事项 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf MongoDB + Spark: 完整的大数据解决方案 | MongoDB中文社区 http://www.mongoing 阅读全文

posted @ 2017-11-23 17:09 papering 阅读(772) 评论(0) 推荐(0)

HDFS vs. MongoDB

摘要： HDFS MongoDB 共同点 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf 横向扩展，支持TB-PB级数据量低成本， x86 数据自动多份复制支持非结构化数据差异点粗颗粒阅读全文

posted @ 2017-11-23 16:59 papering 阅读(993) 评论(0) 推荐(0)

二级索引

摘要：二级索引全局二级索引 - Amazon DynamoDB http://docs.amazonaws.cn/amazondynamodb/latest/developerguide/GSI.html 属性投影查询全局二级索引扫描全局二级索引表与全局二级索引之间的数据同步全局二级索引的预置阅读全文

posted @ 2017-11-23 16:57 papering 阅读(473) 评论(0) 推荐(0)