05 2017 档案
摘要：MySQL默认采用的是MyISAM。 MyISAM不支持事务，而InnoDB支持。InnoDB的AUTOCOMMIT默认是打开的，即每条SQL语句会默认被封装成一个事务，自动提交，这样会影响速度，所以最好是把多条SQL语句显示放在begin和commit之间，组成一个事务去提交。 InnoDB支持数
阅读全文
摘要：上面红色加粗的语句，为正确的md5sum加密方法（特别注意前面echo -n 选项） PS:MAC下在文件中执行上面红色加粗的选项，始终不能去掉字符串后面的回车符。 可通过xxd filename 或者od -c filename 查看是否有回车符 未完待续。。。
阅读全文
摘要：文章参考：Hbase新版本JavaAPI编程实战及基本操作方法封装： http://blog.csdn.net/tanggao1314/article/details/51408166 待续。。。
阅读全文
摘要：如果java -jar target/hbase-demo-1.0-SNAPSHOT.jar HBaseDemo 提示如下 no main manifest attribute, in target/hbase-demo-1.0-SNAPSHOT.jar 则执行如下命令 java -cp targe
阅读全文
摘要：python3 与 pip3 安装与使用 1. yum -y install openssl* (pip依赖ssl环境) 2.编译安装python3 下载地址:https://www.python.org/ftp/python/ 1 tar zxvf Python-3.5.2.tgz 2 cd Py
阅读全文
摘要：首先需要定位获取任务的运行日志或者报错信息，才能定位问题。 通过shell调用有些脚本的话，日志信息会打印在shell里。不过也有用户在shell里调用正常，但是到crontab调用的时候就出错并且没日志了。 针对这种情况，可以在crontab里把任务执行的输出记录下来，后续出了问题可以到日志文件里
阅读全文
摘要：Hbase Writer的json文件链接： https://github.com/alibaba/DataX/blob/master/hbase11xwriter/doc/hbase11xwriter.md 配置json文件 可以同时导入多个本地文件，采用默认匹配符号*，例如有example开头的
阅读全文
摘要：传入字符串，修改为日期； 根据传入的字符串识别的日期，进行加减
阅读全文
摘要：wget --no-check-certificate https://pypi.python.org/packages/source/p/pymongo/pymongo-2.6.3.tar.gz#md5=da4a7d6ee47fe30b3978b8805d266167 tar zxvf pymon
阅读全文
摘要：应对场景为：MongoDB中历史数据巨多接近一年多，需要想办法将数据读出并且格式化上传到集群上。就想出了按天读取数据 或许还有最优解。。。
阅读全文
摘要：核心代码为ruby中的code语句。（感觉这是最笨的方法，继续探求精简的办法。。。。） 特么的找了一天了，现在大部分都还不是logstash5.x的 下面这种方法试烂了都不管用，不知哪里不对，还请高手指教： 所以有了下面的配置 改配置文件包括两个知识点 1. 不可见字符（ctrl+A，ctrl+B）
阅读全文
摘要：将上段代码写入到自己的pom.xml文件中，可以使用阿里云maven仓库下载jar包，提高下载速度。
阅读全文
摘要：安装必要的软件包： pip install "ipython[all]" pip install "ipython[all]" 启动命令：ipython notebook --inline=pylib 自动采用默认浏览器打开 http://localhost:8888/tree 如果想嵌入图表，则需
阅读全文
摘要：标题遇到的问题是我要解决的问题的中间环节。 原本问题是：需要在之前standlone的MongoDB数据库中搭建replicaSet集群，发现该集合同步一半就导致本MongoDB实例挂掉 怎么搭建MongoDB relicaSet集群，参考另一篇博客：http://www.cnblogs.com/z
阅读全文
摘要：python代码： 执行SparkStreaming： spark/bin/spark-submit --jars spark-streaming-kafka-0-8-assembly_2.11-2.1.0.jar ReadFromKafkaStreaming.py 其中spark-streamin
阅读全文
