随笔分类 - data
摘要：mysql 1、检查是否安装yum list installed | grep mysql 2、下载安装包wget 3、解压并拷贝到安装目录tar -xvf mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gzln -s path-to-mysql /usr/local
阅读全文
摘要：类型 部分代表 特点 列存储 Hbase Cassandra Hypertable 顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。 文档存储 MongoDB CouchDB 文档存储一般用类似json的格式存储，
阅读全文
摘要：股票分层：基础层（集中竞价，1小时撮合一次）、创新层（集中竞价，10分钟撮合一次）、精选层（连续竞价） 交易方式：做市交易集合竞价连续竞价 集中竞价：跌幅限制比例为50%，涨幅限制比例为100%首日无涨跌幅限制 连续竞价价格：价格涨跌幅：开盘价的30%首日无涨跌幅限制委托价：基准价的5% 数量:10
阅读全文
摘要：[global] security = user ntlm auth = true [kmps.service] public = yes comment = crm share path = /data/log writable = yes browseable = yes log file =
阅读全文
摘要：spark-env.sh export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport SPARK_DIST_CLASSPATH=$(hadoop classpath) bash_profile export HADOOP_HOME=/usr/local/
阅读全文
摘要：在执行hdfs命令时，会有一个警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable我们
阅读全文
摘要：import os import datetime import hashlib def checksum(filename): with open(filename, mode='rb') as f: d = hashlib.md5() while True: buf = f.read(128) if ...
阅读全文
摘要：安装conda install jupyter notebook启动nohup jupyter notebook &生成配置文件jupyter notebook --generate-config安装代码补齐conda install -c conda-forge jupyter_contrib_n
阅读全文
摘要：DROP 从目前资料库中移出资料表格，并从磁碟上将它删除。DELETE 标示要删除的记录。只是标记，没有删除。ZAP 从资料表格中移除所有记录，仅保留资料表格结构。PACK 从目前资料库中移除标示为删除的记录。ZAP = DELETE + PACK VF中记录删除分为逻辑删除和物理删除，逻辑删除用d
阅读全文
摘要：《深度学习》： https://github.com/exacity/simplified-deeplearning 【北京大学】人工智能实践：Tensorflow笔记 https://www.jianshu.com/p/05314e94cee9
阅读全文
摘要：创建环境：conda create -n py37 python=3.7 删除环境：conda remove -n py37 --all 默认不激活 conda config --set auto_activate_base False 进入环境：conda activate py37退出环境：co
阅读全文
摘要：ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.12.129"
阅读全文
摘要：hongjiang的网站:http://hongjiang.info
阅读全文
摘要：执行spark-shell报错： [ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.NoClassDefFoundError: Could not initialize class scala.t
阅读全文
摘要：import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SparkSession object WordCount { def main(args:Array[String]): Unit ={ val conf = new SparkConf() .setAppN...
阅读全文
摘要：import scala.math.randomobject LocalPi { def main(args: Array[String]) { var count = 0 for (i <- 1 to 100000000) { val x = random * 2 - 1 val y = rand
阅读全文
摘要：4.0.0 tim spark 1.0 2.11.0 2.3.2 2.8.3 org.apache.spark spark-core_2.11 ${spark.version} ...
阅读全文
摘要：UNC路径UNC（Universal Naming Convention） 为了迎合网络化的趋势，Windows的地址风格（C:\ABC\def\ghi及\\计算机名\文件夹\文件）向网络地址风格作了一次兼容变换：file表示协议类型://后面是机器的网络地址（IP地址）/后面是文件夹（目录）和文件
阅读全文
摘要：在spark-env.cmd添加一行 FOR /F %%i IN ('hadoop classpath') DO @set SPARK_DIST_CLASSPATH=%%i 修改：log4j.properties，去掉spark-shell退出的报错信息bug log4j.logger.org.ap
阅读全文
摘要：原文：https://www.cnblogs.com/jiangxinnju/p/5840420.html-- DBA/ALL/USER/V_$/GV_$/SESSION/INDEX开头的绝大部分都是视图 -- DBA_TABLES意为DBA拥有的或可以访问的所有的关系表。 -- ALL_TABLES意为某一用户拥有的或可以访问的所有的关系表。 -- USER_TABLES意为某一用户所拥有的所...
阅读全文
