lshan - 博客园

2020年9月18日

摘要：原文url: https://my.oschina.net/guol/blog/891156 介绍 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题阅读全文

posted @ 2020-09-18 11:17 lshan 阅读(948) 评论(0) 推荐(0) 编辑

2020年9月16日

修改python 版本

摘要：修改python version 、修改python的默认版本(python2和python3切换) 1）将系统的默认python版本由python2修改为python3.(Python3修改为python2类似) echo alias python=python3 >> ~/.bashrc 2）同阅读全文

posted @ 2020-09-16 17:16 lshan 阅读(2078) 评论(0) 推荐(0) 编辑

2020年9月9日

IDEA-plugin 之解决maven工程jar冲突(转)

摘要：原文：https://blog.51cto.com/14309075/2398796 在开发的过程中，我们难免会遇到各种jar包冲突，如果不掌握解决的办法，就会连连报错！下面推荐一个IDEA的插件 -- Maven Helper 安装有两种方式一种是IDEA自动安装，但是经过我IDEA 2017.0 阅读全文

posted @ 2020-09-09 13:55 lshan 阅读(409) 评论(0) 推荐(0) 编辑

2020年9月8日

spark-mongo （3 数据读写）

该文被密码保护。阅读全文

posted @ 2020-09-08 17:25 lshan 阅读(0) 评论(0) 推荐(0) 编辑

spark-monog(2 数据读写)

摘要：原文：https://blog.csdn.net/u011098327/article/details/72865934 依赖： <dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2 阅读全文

posted @ 2020-09-08 12:04 lshan 阅读(317) 评论(0) 推荐(0) 编辑

spark-mongo(1 读写数据)

摘要：参考链接 MongoDB Connector for Spark官方文档 Mongo Spark 源码原文：https://www.jianshu.com/p/dbac491317cc 场景：适用于数据清洗，如只需要部分字段：依赖： <dependency> <groupId>org.mongo 阅读全文

posted @ 2020-09-08 11:48 lshan 阅读(837) 评论(2) 推荐(0) 编辑

springboot 2.1.3 + 单元测试

摘要：依赖： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> <exclusions> <exclu 阅读全文

posted @ 2020-09-08 10:39 lshan 阅读(627) 评论(0) 推荐(0) 编辑

2020年9月1日

springCloud 调用Python web 服务（sideCard）（转）

摘要：原文请参考：https://blog.csdn.net/hliq5399/article/details/80540760 个人应用场景：使用python 实现一些算法，然后通过java　springboot 项目去调用。。。。＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊阅读全文

posted @ 2020-09-01 10:26 lshan 阅读(1514) 评论(0) 推荐(0) 编辑

2020年8月31日

S3 Client 的安装与使用

摘要：原文：https://www.howtoing.com/install-s3cmd-manage-amazon-s3-buckets 摘要：安装s3cmd包 s3cmd是默认的RPM库针对CentOS，RHEL和Ubuntu系统上可用，您可以简单的在系统上执行以下命令进行安装。在CentOS / 阅读全文

posted @ 2020-08-31 12:19 lshan 阅读(3705) 评论(0) 推荐(0) 编辑

2020年8月25日

kafka python 调试用(发送，接收)

摘要： kafkaProducer.py # encoding=utf-8 import json from kafka import KafkaProducer import time from backports.configparser.helpers import str def sendMsg(t 阅读全文

posted @ 2020-08-25 11:13 lshan 阅读(792) 评论(0) 推荐(0) 编辑