2018年12月18日
大数据基础之Spark（3）Spark Thrift实现原理及代码实现
摘要： spark 2.1.1 一 启动命令 启动spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后会执行 org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive 阅读全文
posted @ 2018-12-18 15:54 匠人先生 阅读(3380) 评论(0) 推荐(1) 编辑
大叔问题定位分享（15）spark写parquet数据报错ParquetEncodingException: empty fields are illegal, the field should be ommited completely instead
摘要： spark 2.1.1 spark里执行sql报错 insert overwrite table test_parquet_table select * from dummy 报错如下： org.apache.spark.SparkException: Task failed while writi 阅读全文
posted @ 2018-12-18 15:08 匠人先生 阅读(4775) 评论(1) 推荐(3) 编辑
大叔经验分享（11）python引入模块报错ImportError: No module named pandas numpy
摘要： python应用通常需要一些库，比如numpy、pandas等，安装也很简单，直接通过pip # pip install numpyRequirement already satisfied: numpy in /export/App/anaconda2/lib/python2.7/site-pac 阅读全文
posted @ 2018-12-18 11:09 匠人先生 阅读(29689) 评论(0) 推荐(1) 编辑
免费股票行情接口
摘要： 免费股票行情接口： A股 1 sina 新浪js接口 http://hq.sinajs.cn/list=sh600001 返回 var hq_str_sh600011="华能国际,7.390,7.420,7.230,7.500,7.110,7.210,7.230,24257738,174459225 阅读全文
posted @ 2018-12-18 01:07 匠人先生 阅读(4992) 评论(0) 推荐(2) 编辑
大叔经验分享（10）Could not transfer artifact org.apache.maven:maven. from/to central. Received fatal alert: protocol_version
摘要： maven编译工程报错 [ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:add-source (scala-compile-first) on project trade: Execution sc 阅读全文
posted @ 2018-12-18 00:35 匠人先生 阅读(4146) 评论(0) 推荐(1) 编辑
2018年12月17日
大叔经验分享（16）Context namespace element 'component-scan' and its parser class [org.springframework.context.annotation.ComponentScanBeanDefinitionParser] are only available on JDK 1.5 and higher
摘要： 今天尝试运行一个古老的工程，配置好之后编译通过，结果运行时报错： org.springframework.beans.factory.BeanDefinitionStoreException: Unexpected exception parsing XML document from class 阅读全文
posted @ 2018-12-17 22:55 匠人先生 阅读(2066) 评论(0) 推荐(0) 编辑
2018年12月13日
Java基础之Session机制
摘要： Session机制 JSESSIONID是Session的标识，当客户端请求服务器端的时候，服务器端会检查是否已经给这个客户端创建过Session，也就是看客户端的请求中的header是否有Cookie:JSESSIONID=…，如果客户端请求包含JSESSIONID，那么服务器端可以根据JSESS 阅读全文
posted @ 2018-12-13 22:48 匠人先生 阅读(1413) 评论(0) 推荐(1) 编辑
Linux基础之linux常用命令之文本替换
摘要： linux常用命令之文本替换 1 vi vi test_file :%s/h/h1/g 注释：全文替换，将h替换为h1 :1,4s/h/h1/g 注释：将第1行到第4行的h替换为h1 :%s/\n/,/g 注释：将换行符替换为, 2 sed sed -e 's/h/h1/g' test_file 注 阅读全文
posted @ 2018-12-13 18:04 匠人先生 阅读(5866) 评论(0) 推荐(1) 编辑
大数据基础之词频统计Word Count
摘要： 对文件进行词频统计，是一个大数据领域的hello word级别的应用，来看下实现有多少种： 1 Linux单机处理 egrep -o "\b[[:alpha:]]+\b" test_word.log|sort|uniq -c|sort -rn|head -10 2 Scala单机处理（Array） 阅读全文
posted @ 2018-12-13 17:29 匠人先生 阅读(3322) 评论(0) 推荐(0) 编辑
Linux基础之linux服务器服务器间拷贝文件
摘要： linux服务器服务器间拷贝文件，有几种方式： 1 如果是定时任务，可以用rsync 2 如果是基于ssh登录，可以用scp，优点是可以实现远程到远程的拷贝，缺点是需要账号密码 upload: scp $local_file $remote_username@$remote_ip:$remote_f 阅读全文
posted @ 2018-12-13 17:06 匠人先生 阅读(1175) 评论(0) 推荐(0) 编辑