10 2018 档案
摘要：申购赎回实时回报：1、二级市场过户记录（二级市场代码）2、沪市成分股过户记录（全部成分股）3、非沪市资金记录4、沪市资金记录5、ETF一级市场过户记录（一级市场代码）
阅读全文
摘要：1、启动脚本文件 hadoop-env.sh yarn-env.sh 2、参数配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3、集群主机文件 slaves 文件内容： hadoop-env.sh添加： yarn-env.
阅读全文
摘要：CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘标准流程". 此KDD过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.(
阅读全文
摘要：以前在做linux免密登录时只要执行：cat id_rsa.pub>> authorized_keys，就可以了 后来升级到rhel7之后不行，发现有两个需要改动： 1、修改ssh的配置文件/etc/ssh/sshd_config ,去掉两个参数的注释 PubkeyAuthentication ye
阅读全文
摘要：业务类型文件名描述发送时间接收方式 上海行情 mktdt01.txt 综合业务平台行情文件 实时发送,5秒刷新 SR、EZSR（UDP/SR协议）、UT、BT 上海行情 csiYYYYMMDD.txt 指数通行情文件(中证指数有限公司) 实时发送,5秒刷新 SR、EZSR（UDP/SR协议）、UT、BT 上海行情 mktdt00.txt 上交所竞价平台FAST行情 实时发送,3秒刷新...
阅读全文
摘要：hadoop启动检查副本块数，就会进入safemode safemode的相关情况 虽然不能进行修改文件的操作，但是可以浏览目录结构、查看文件内容的。 在命令行下是可以控制安全模式的进入、退出和查看的。 命令 hadoop dfsadmin -safemode get 查看安全模式状态 命令 had
阅读全文
摘要：https://blog.csdn.net/ytbigdata/article/details/47154529
阅读全文
摘要：1.Spark启动警告：neither spark.yarn.jars not spark.yarn.archive is set，falling back to uploading libraries under SPARK_HOME 原因： 如果没设置spark.yarn.jars，每次提交到y
阅读全文
摘要：https://blog.csdn.net/chengyuqiang/article/details/77864246
阅读全文
摘要：解决方案一： #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l
阅读全文
摘要：开源项目镜像源名 源链接CentOS http://mirror-status.centos.org/#cnArchlinux https://www.archlinux.org/mirrors/status/Ubuntu https://launchpad.net/ubuntu/+cdmirror
阅读全文
摘要：原文：https://www.cnblogs.com/miqi1992/p/5621268.html 前言 本章知识点概括 Apache Spark简介 Spark的四种运行模式 Spark基于Standlone的运行流程 Spark基于YARN的运行流程 Apache Spark是什么？ Spar
阅读全文
摘要：1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行 处理，非常适合数据密集型计算。 2） Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapReduce是一种磁盘 计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以
阅读全文
摘要：hive简介 hive是一个数据仓库，可以看做是Hadoop的客户端，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，也可以将sql语句转换为MapReduce任务进行运行。要注意的是，hive并不是一个数据库，也不存储实际数据，实际数据都存储在hdfs中，hive只是简化了对
阅读全文
摘要：方法一(先进入root权限)：# /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &# mysql -u rootmysql> update user set passwor
阅读全文
摘要：文件操作命令：hdfs dfs -ls /hdfs dfs -mkdir /hdfs dfs -rm -rf /hdfshdfs dfs -duhdfs dfs -get /hdfs /localhdfs dfs -put /local /hdfs 管理命令：hdfs dfsadmin -repor
阅读全文
摘要：1、创建hadoop用户,作为haoop的运行用户 2、配置JAVA_HOME环境变量，修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=${JAVA_HOME}/bin:$PATH 3、配置hadoop用户的PATH
阅读全文
