摘要：
有这样一组搜索结果数据： 租户,平台, 登录用户, 搜索关键词, 搜索的商品结果List 现在需要统计每个商品被哪些关键词搜索到，最终结果如下： 这里最关键的是sku对应到命中的关键词： 操作步骤1: 将给出的数据goodslist一列转为多行结构如下，重点用到了lateral view explo 阅读全文
摘要：
mac安装完docker后，显示无效的命令。 在应用程序中找到docker安装的路径，将该路径写到/etc/paths里面 阅读全文
摘要：
https://github.com/b3log/xiaov XiaoV（小薇）是一个用 Java 写的 QQ 聊天机器人 Web 服务，可以用于社群互动： 监听多个 QQ 群消息，发现有“感兴趣”的内容时通过图灵机器人或百度机器人进行智能回复 监听到的 QQ 群消息可以配置推送到论坛某个接口上，以 阅读全文
摘要：
分组统计 1. groups sets(field1,field2,field3, (field1,field2)) 样例如下： 结果显示如下： 阅读全文
摘要：
oracle、hive都存在with as的用法。用于将重复的查询结果复用。 今天做统计分析时用到，使用例子如下： 1. 直接查询 2. 多表计算结果join 注意点： with as 最后必须跟sql语句结束，不允许单独使用。 阅读全文
摘要：
1. 修改/etc/my.cnf, 在mysqld中增加一行skip-grant-tables，记得改完密码，将这行再删除。 保存，重启mysql 2. 使用一下命令直接进入，修改root密码 3. 重启mysql 将/etc/my.cnf 文件中修改的部分还原，然后重启mysql 阅读全文
摘要：
1. 创建临时function （这里两个包都是hive自带的，不需要自己开发的，可以根据名称查找对应的版本） 2. dboutput使用方法 准备一张hive表记录如下，然后在mysql中创建相同字段的表. 根据上面到规则，完整的hive脚本如下, 保存到script.q文件中： 这里只能inse 阅读全文
摘要：
1. 出错信息如下： 在启动配置中心的客户端时，报以下错误信息： 2. 度娘查了下，发现很多人碰到这个坑。 首先我提交到git上到配置文件名称为下面两个文件 遵循配置中心配置文件的规则 /{application}-{profile}.properties 所以在cloud-config-clien 阅读全文
摘要：
自己练习创建到多个项目，想同步到gitee上一个仓库中。 1. 首先在gitee上创建项目springtest 2. 在eclipse默认项目存放到地方创建文件夹springtest，用来同步gitee仓库。 我的电脑上是/Users/king/workspace/workspace_j2ee2/s 阅读全文
摘要：
沙箱环境的文档都是错的，直接使用以下地址： 输入淘宝测试账号： sandbox_c_1 密码： taobao1234 https://login.tbsandbox.com/member/login.jhtml api接口测试调用地址： http://open.taobao.com/apitools 阅读全文
摘要：
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true， 阅读全文
摘要：
由于官方的1.8版本hdfs-sink不能在每天的0点滚动文件，所以修改了flume-hdfs-sink源码。 flume-hdfs-sink中修改了HDFSEventSink.java文件，其他文件未改动。 使用该程序打包，替换掉官方到flume-hdfs-sink.jar(建议备份一份), 也可 阅读全文
摘要：
azkaban的工作流中的参数可以分为如下几个类型：azkaban UI 页面输入参数， 环境变量参数， job作业文件中定义的参数，工作流的用户定义的属性文件，上游作业传递给下游的参数，工作流运行时产生的系统参数，job的common参数等。 参数的作业范围分类，对当前job有效局部有效，对整个工 阅读全文
摘要：
flume到hdfsSink： type hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。 filePrefix 默认值：FlumeData 写入hdfs的文件名前缀 阅读全文
摘要：
mac快捷键 快捷键说明 ⌘ + F 在当前窗口查找 ⌘ + ⇧ + F 在全工程查找 ⌘ + ⇧ + ⌥ + N 查找类中的方法或变量 F3 / ⇧ + F3 移动到搜索结果的下/上一匹配处 ⌘ + R 在当前窗口替换 ⌘ + ⇧ + R 在全工程替换 ⌘ + ⇧ + V 可以将最近使用的剪贴板内 阅读全文
摘要：
一、第一部分 1、spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： 2、spark的conf/spark-defaults.conf配置 如果你是运行在yarn之上的话，就要告诉yarn，你spar 阅读全文
摘要：
1. maven设置 除了阿里云库，还需要引入 cdh, spring库。需要修改maven下面的配置文件setting.xml, 参考下面设置。 2. 在项目文件pom.xml中引入的是cdh对应版本的包 设置cdh库，spring库。 依赖包需要加入cdh版本的 其他的依赖包正常添加即可。 附上 阅读全文