TIMLONG - 博客园

2018年10月22日

摘要：以前在做linux免密登录时只要执行：cat id_rsa.pub>> authorized_keys，就可以了后来升级到rhel7之后不行，发现有两个需要改动： 1、修改ssh的配置文件/etc/ssh/sshd_config ,去掉两个参数的注释 PubkeyAuthentication ye 阅读全文

posted @ 2018-10-22 21:37 TIMLONG 阅读(643) 评论(0) 推荐(0) 编辑

上交所文件接收

摘要：业务类型文件名描述发送时间接收方式上海行情 mktdt01.txt 综合业务平台行情文件实时发送,5秒刷新 SR、EZSR（UDP/SR协议）、UT、BT 上海行情 csiYYYYMMDD.txt 指数通行情文件(中证指数有限公司) 实时发送,5秒刷新 SR、EZSR（UDP/SR协议）、UT、BT 上海行情 mktdt00.txt 上交所竞价平台FAST行情实时发送,3秒刷新... 阅读全文

posted @ 2018-10-22 09:54 TIMLONG 阅读(3112) 评论(0) 推荐(0) 编辑

2018年10月19日

hadoop的safemode 安全模式

摘要： hadoop启动检查副本块数，就会进入safemode safemode的相关情况虽然不能进行修改文件的操作，但是可以浏览目录结构、查看文件内容的。在命令行下是可以控制安全模式的进入、退出和查看的。命令 hadoop dfsadmin -safemode get 查看安全模式状态命令 had 阅读全文

posted @ 2018-10-19 09:26 TIMLONG 阅读(602) 评论(0) 推荐(0) 编辑

2018年10月18日

基于Spark的用户分析系统

摘要： https://blog.csdn.net/ytbigdata/article/details/47154529 阅读全文

posted @ 2018-10-18 22:05 TIMLONG 阅读(674) 评论(0) 推荐(0) 编辑

spark：neither spark.yarn.jars not spark.yarn.archive is set

摘要： 1.Spark启动警告：neither spark.yarn.jars not spark.yarn.archive is set，falling back to uploading libraries under SPARK_HOME 原因：如果没设置spark.yarn.jars，每次提交到y 阅读全文

posted @ 2018-10-18 16:09 TIMLONG 阅读(1069) 评论(0) 推荐(0) 编辑

Spark2.x学习笔记：5、Spark On YARN模式

摘要： https://blog.csdn.net/chengyuqiang/article/details/77864246 阅读全文

posted @ 2018-10-18 15:55 TIMLONG 阅读(205) 评论(0) 推荐(0) 编辑

Spark记录-spark报错Unable to load native-hadoop library for your platform

摘要：解决方案一： #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l 阅读全文

posted @ 2018-10-18 14:55 TIMLONG 阅读(294) 评论(0) 推荐(0) 编辑

开源项目镜像

摘要：开源项目镜像源名源链接CentOS http://mirror-status.centos.org/#cnArchlinux https://www.archlinux.org/mirrors/status/Ubuntu https://launchpad.net/ubuntu/+cdmirror 阅读全文

posted @ 2018-10-18 12:14 TIMLONG 阅读(265) 评论(0) 推荐(0) 编辑

转载：Spark中文指南(入门篇)-Spark编程模型(一)

摘要：原文：https://www.cnblogs.com/miqi1992/p/5621268.html 前言本章知识点概括 Apache Spark简介 Spark的四种运行模式 Spark基于Standlone的运行流程 Spark基于YARN的运行流程 Apache Spark是什么？ Spar 阅读全文

posted @ 2018-10-18 09:31 TIMLONG 阅读(368) 评论(0) 推荐(0) 编辑

MapReduce\Tez\Storm\Spark四个框架的异同

摘要： 1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。 2） Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapReduce是一种磁盘计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以阅读全文

posted @ 2018-10-18 08:49 TIMLONG 阅读(1832) 评论(0) 推荐(0) 编辑

2018年10月17日

hive安装

摘要： hive简介 hive是一个数据仓库，可以看做是Hadoop的客户端，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，也可以将sql语句转换为MapReduce任务进行运行。要注意的是，hive并不是一个数据库，也不存储实际数据，实际数据都存储在hdfs中，hive只是简化了对阅读全文

posted @ 2018-10-17 17:03 TIMLONG 阅读(335) 评论(0) 推荐(0) 编辑

linux下忘记mysql密码的几种找回方法

摘要：方法一(先进入root权限)：# /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &# mysql -u rootmysql> update user set passwor 阅读全文

posted @ 2018-10-17 16:55 TIMLONG 阅读(271) 评论(0) 推荐(0) 编辑

hdfs操作命令

摘要：文件操作命令：hdfs dfs -ls /hdfs dfs -mkdir /hdfs dfs -rm -rf /hdfshdfs dfs -duhdfs dfs -get /hdfs /localhdfs dfs -put /local /hdfs 管理命令：hdfs dfsadmin -repor 阅读全文

posted @ 2018-10-17 13:43 TIMLONG 阅读(235) 评论(0) 推荐(0) 编辑

hadoop 2.8.5安装步骤

摘要： 1、创建hadoop用户,作为haoop的运行用户 2、配置JAVA_HOME环境变量，修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=${JAVA_HOME}/bin:$PATH 3、配置hadoop用户的PATH 阅读全文

posted @ 2018-10-17 09:16 TIMLONG 阅读(1912) 评论(0) 推荐(0) 编辑

2018年9月27日

李祥林：从美国经验看中国资产证券化的发展

摘要：美国证券化市场概况全球证券化市场目前大约有十万亿美元的规模，按照证券化产品抵押资产分类，第一大类是地产，地产中包括民用、商用；第二大类是企业贷款，这类产品近几年在国外市场受到热捧；第三大类是债券；此外是个人消费类，比如信用卡、汽车贷款和学生贷款等。美国至今仍然是全球最大的证券化市场，占全球总量8 阅读全文

posted @ 2018-09-27 16:41 TIMLONG 阅读(248) 评论(0) 推荐(0) 编辑

2018年9月17日

买入返售业务

摘要：作者：吴瑞丹链接：https://www.zhihu.com/question/21810249/answer/19407127来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。我在信托公司工作，平常遇到的最多的项目类型除了贷款就是买入返售类业务，就我个人的理解谈一些目阅读全文

posted @ 2018-09-17 16:17 TIMLONG 阅读(366) 评论(0) 推荐(0) 编辑

2018年9月14日

国内做市

摘要：证券公司的自营部门比市场其它参与者略占几个优势。首先是交易成本低。因为证券公司本身是交易所会员，自营交易不用交手续费，而基金公司、保险公司和信托公司需要租用渠道，手续费是一大笔成本。其次是信息优势。证券公司，尤其是经纪业务规模非常大的证券公司，往往能够通过经纪客户仓位的变化，提前预判市场走势，虽阅读全文

posted @ 2018-09-14 14:44 TIMLONG 阅读(211) 评论(0) 推荐(0) 编辑

2018年9月13日

谷歌吴军：提高效率须从拒绝“伪工作”开始！

摘要：效率高低不取决于开始了多少工作，而在于完成了多少。很多我们看上去非做不可的事情，其实想通了并没有那么重要，因为它们是伪工作。所以，无论是在职场上还是在生活中，提高效率都需要从拒绝伪工作开始。来源丨《见识》作者丨吴军 “每天的事情太多，总是做不完”，这恐怕是现代人遇到的普遍问题，尤其是在那些发展特别快阅读全文

posted @ 2018-09-13 11:10 TIMLONG 阅读(355) 评论(0) 推荐(1) 编辑

2018年8月30日

如何开始学习使用TensorFlow？

摘要： Harrison Kinsley ——PythonProgramming.net的创始人 TensorFlow官方网站有相当多的文档和教程，但这些往往认为读者掌握了一些机器学习和人工智能知识。除了知道ML和AI，你也应该对Python编程语言非常熟练。因此，在开始学习如何使用TensorFlow前，阅读全文

posted @ 2018-08-30 14:57 TIMLONG 阅读(1093) 评论(0) 推荐(0) 编辑

科普贴：什么是上证50ETF期权？如何交易？

摘要：这两天很多上证50ETF期权即将开通的新闻，有几个朋友表示，看了很多新闻，同样还是云里雾里，没搞清楚究竟是个什么东东？今天科普一下，部分内容摘自网络。1、什么是ETF？ETF的英文全称是：Exchange Traded Funds，一般被称为交易所交易基金。也就是一种在交易所上市交易的基金2、什么是阅读全文

posted @ 2018-08-30 09:37 TIMLONG 阅读(302) 评论(0) 推荐(0) 编辑

公告