摘要: 任务 聚合api构造索引库数据结构Goods NativeSearchQueryBuilder StringTerms InternalAvg AggregationBuilders AggregatedPage 添加Client接口 由spu构造Goods对象 导入数据 do while 基本查询 阅读全文
posted @ 2019-12-03 19:31 tunan96 阅读(97) 评论(0) 推荐(0) 编辑
摘要: 先抛出几个问题 1. 存储是不是基石? 2. 假如存储不挂,数据真的准确吗? 3. 存储挂了,数据还准确吗? 4. 如何校验是否正确?如何让其正确?机制是不是必须有? 注:sqoop抽数据,无error丢数据的概率很小 数据质量校验:数据量校验 count相同吗?count相同内容相同吗? 数据量相 阅读全文
posted @ 2019-11-30 01:51 tunan96 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ 阅读全文
posted @ 2019-11-28 12:35 tunan96 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 新增商品 初始化数据 根据cid查询品牌 根据cid查询规格参数 新增spu 新增spuDetail sku stock 1.初始化数据 1.1.根据cid查询品牌 1.1.1.前端页面 品牌也是一个下拉选框,不过其选项是不确定的,只有当用户选择了商品分类,才会把这个分类下的所有品牌展示出来。 所以 阅读全文
posted @ 2019-11-27 18:28 tunan96 阅读(340) 评论(0) 推荐(0) 编辑
摘要: dos2unix是将Windows格式文件转换为Unix、Linux格式的实用命令。Windows格式文件的换行符为\r\n ,而Unix&Linux文件的换行符为\n. dos2unix命令其实就是将文件中的\r\n 转换为\n。 而unix2dos则是和dos2unix互为孪生的一个命令,它是将 阅读全文
posted @ 2019-11-27 10:56 tunan96 阅读(34262) 评论(0) 推荐(4) 编辑
摘要: Linux file命令用于辨识文件类型。 通过file指令,我们得以辨识该文件的类型。 语法 file [-beLvz][-f <名称文件>][-m <魔法数字文件>...][文件或目录...] 参数: -b 列出辨识结果时,不显示文件名称。 -c 详细显示指令执行过程,便于排错或分析程序执行的情 阅读全文
posted @ 2019-11-27 10:19 tunan96 阅读(508) 评论(0) 推荐(0) 编辑
摘要: 占位符 阅读全文
posted @ 2019-11-26 23:28 tunan96 阅读(90) 评论(0) 推荐(0) 编辑
摘要: 占位符 阅读全文
posted @ 2019-11-26 23:28 tunan96 阅读(74) 评论(0) 推荐(0) 编辑
摘要: 占位符! 阅读全文
posted @ 2019-11-26 23:28 tunan96 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 占位符 阅读全文
posted @ 2019-11-26 23:27 tunan96 阅读(103) 评论(0) 推荐(0) 编辑