2018 年 4月随笔档案 - J'KYO

使用JdbcTemplate访问数据库

摘要：参考源端：https://blog.csdn.net/liaodehong/article/details/76974827 今天用Spring Boot访问一下数据库，并且把数据返回到页面中，进行增删改查操作。主要介绍springboot通过jdbc访问关系型MySQL,通过spring的Jdbc 阅读全文

posted @ 2018-04-28 19:13 J'KYO 阅读(4792) 评论(0) 推荐(0) 编辑

hive 创建/删除/截断表(翻译自Hive wiki)

摘要：这里罗列常用操作，更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单的创建表创建有分区的表一个表可以阅读全文

posted @ 2018-04-27 16:06 J'KYO 阅读(1041) 评论(0) 推荐(0) 编辑

SQOOP 添加oracle 驱动

摘要：我的ORACLE 是11G ，找到ojdbc6.jar，放到sqoop 的lib 下面，我的是cloudera 集群，目录是 /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/sqoop/lib /opt/cm-5.10.0/share/c 阅读全文

posted @ 2018-04-27 15:09 J'KYO 阅读(454) 评论(0) 推荐(0) 编辑

关于sqoop --split-by 及 -m的理解

摘要：场景： sqoop import --connect jdbc:postgresql://...../..... --username .... --query "select * from retail_tb_order_qiulp_test where status = 'TRADE_FINIS 阅读全文

posted @ 2018-04-27 14:31 J'KYO 阅读(6526) 评论(0) 推荐(0) 编辑

sqoop导出到mysql中文乱码问题总结、utf8、gbk

摘要：sqoop导出到mysql中文乱码问题总结、utf8、gbk 今天使用sqoop1.4.5版本的（hadoop使用cdh5.4）因为乱码问题很是头痛半天。下面进行一一总结命令： [root@sdzn-cdh01 etc]# sqoop export --connect "jdbc:mysql:// 阅读全文

posted @ 2018-04-26 18:00 J'KYO 阅读(1347) 评论(0) 推荐(0) 编辑

Hive 的查询结果直接导入到 MySQL 中的方法

摘要：步骤一： hive> add jar /setup/hive/lib/mysql-connector-java-5.1.25-bin.jar; hive> add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar; 步骤二： hive> CR 阅读全文

posted @ 2018-04-26 17:25 J'KYO 阅读(3878) 评论(0) 推荐(0) 编辑

测试Linux端口的连通性的四种方法

摘要：Linux系统有时候需要测试某个端口的连通性，用户可以参考如下方法来测试。方法一、telnet法 telnet为用户提供了在本地计算机上完成远程主机工作的能力，因此可以通过telnet来测试端口的连通性，具体用法格式： telnet ip port 说明： ip：是测试主机的ip地址 port：是阅读全文

posted @ 2018-04-26 17:01 J'KYO 阅读(2591) 评论(0) 推荐(0) 编辑

将Hive统计分析结果导入到MySQL数据库表中（一）——Sqoop导入方式

摘要：https://blog.csdn.net/niityzu/article/details/45190787 交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果阅读全文

posted @ 2018-04-26 16:39 J'KYO 阅读(18637) 评论(0) 推荐(0) 编辑

hive基本结构与数据存储

摘要：一、Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。还可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去查询分析需要的内容，这套 SQL 简称 HQL。使用hive的优点是学习成本低，可阅读全文

posted @ 2018-04-26 16:37 J'KYO 阅读(5520) 评论(0) 推荐(0) 编辑

使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决

摘要：一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjt 阅读全文

posted @ 2018-04-26 16:22 J'KYO 阅读(3787) 评论(0) 推荐(0) 编辑

Sqoop导入关系数据库到Hive

摘要：参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hiv 阅读全文

posted @ 2018-04-26 14:38 J'KYO 阅读(751) 评论(0) 推荐(0) 编辑

Hive常见问题汇总

摘要：参考资料： Hive常见问题汇总啟動hive出錯，提示沒有權限啟動hive出錯，提示沒有權限 2015年04月02日 09:58:49 阅读数：31769 2015年04月02日 09:58:49 阅读数：31769 阅读数：31769 这里小编汇集，使用Hive时遇到的常见问题。 1，执行#h 阅读全文

posted @ 2018-04-26 14:32 J'KYO 阅读(782) 评论(0) 推荐(0) 编辑

MySQL用户管理：添加用户、授权、删除用户

摘要：添加用户以root用户登录数据库，运行以下命令： create user zhangsan identified by 'zhangsan'; 上面的命令创建了用户zhangsan，密码是zhangsan。在mysql.user表里可以查看到新增用户的信息：授权命令格式：grant privi 阅读全文

posted @ 2018-04-25 17:11 J'KYO 阅读(51831) 评论(1) 推荐(2) 编辑

mysql 数据库授权

摘要：先设置该用户只有show database权限 grant select,insert,update,delete on redmine1.* to jira@"%" identified by "jira"; 新增超级权限并允许远程访问： GRANT ALL PRIVILEGES ON *.* T 阅读全文

posted @ 2018-04-25 17:05 J'KYO 阅读(6872) 评论(0) 推荐(0) 编辑

Sqoop安装与使用

摘要：Sqoop安装配置及hive导入 Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。官网地阅读全文

posted @ 2018-04-25 15:43 J'KYO 阅读(3309) 评论(0) 推荐(1) 编辑

搭建Hive 2.1.1 基于Hadoop 2.6.1 和 Ubuntu 16.0.4 记录

摘要：Hadoop Hive Hbase 对应版本 Hive官网下载我们以Hadoop版本作为参考适配Hive Hbase即可, Hadoop版本是2.6.1 所以可以选择Hive1.2.1以上版本,HBase-1.2.x 至 HBase-2.0.x即可. 配置SQL 下载sql 启动sql sudo 阅读全文

posted @ 2018-04-25 14:04 J'KYO 阅读(965) 评论(0) 推荐(0) 编辑

【转载】全栈工程师-Hadoop, HBase, Hive, Spark

摘要：学习参考这篇文章： http://www.shareditor.com/blogshow/?blogId=96 机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统， hadoop用于分布式存储和map-reduce计算， spark用于分布式机器学习， hive是分布式数据库， hbase 阅读全文

posted @ 2018-04-25 13:20 J'KYO 阅读(646) 评论(0) 推荐(0) 编辑

Linux rpm 命令参数使用详解［介绍和应用］

摘要：Linux rpm 命令参数使用详解［介绍和应用］ Linux rpm 命令参数使用详解［介绍和应用］ RPM是RedHat Package Manager（RedHat软件包管理工具）类似Windows里面的“添加/删除程序” rpm 执行安装包二进制包（Binary）以及源代码包（Source）阅读全文

posted @ 2018-04-25 11:37 J'KYO 阅读(137) 评论(0) 推荐(0) 编辑

[Mysql]查看版本号的五种方式

摘要：[Mysql]查看版本号的五种方式 [Mysql]查看版本号的五种方式目录(?)[+] 目录(?)[+] 查看版本信息 #1 使用命令行模式进入mysql会看到最开始的提示符 Your MySQL connection id is 3Server version: 5.1.69 Source di 阅读全文

posted @ 2018-04-25 11:17 J'KYO 阅读(20961) 评论(0) 推荐(0) 编辑

如何更改linux文件的拥有者及用户组(chown和chgrp)

摘要：如何更改linux文件的拥有者及用户组(chown和chgrp) 本文整理自： http://blog.163.com/yanenshun@126/blog/static/128388169201203011157308/ http://ydlmlh.iteye.com/blog/1435157 一阅读全文

posted @ 2018-04-25 10:57 J'KYO 阅读(9397) 评论(0) 推荐(0) 编辑

Linux命令行下如何终止当前程序

摘要：Linux命令行下如何终止当前程序快捷键： Ctrl+c在命令行下起着终止当前执行程序的作用，Ctrl+d相当于exit命令，退出当前shellCtrl+s挂起当前shell（保护作用很明显哦）Ctrl+q解冻挂起的shell再不行就重新连接打开一个终端，reboot linux 或 kill 相阅读全文

posted @ 2018-04-24 18:32 J'KYO 阅读(36880) 评论(0) 推荐(1) 编辑

Linux入门之vi

posted @ 2018-04-24 18:31 J'KYO 阅读(270) 评论(0) 推荐(0) 编辑

Linux防火墙

摘要：CentOS7安装iptables防火墙 CentOS7安装iptables防火墙 CentOS7默认的防火墙不是iptables,而是firewalle. 安装iptable iptable-service #先检查是否安装了iptables service iptables status #安装阅读全文

posted @ 2018-04-24 17:09 J'KYO 阅读(369) 评论(0) 推荐(0) 编辑

JAVA面试相关

摘要：2017 最新java面试题（技术面试） http://www.importnew.com/17232.html importNew-JAVA面试上篇 importNew-JAVA面试下篇 https://www.cnblogs.com/pureEve/p/6546280.html java面试题网阅读全文

posted @ 2018-04-24 09:45 J'KYO 阅读(216) 评论(0) 推荐(0) 编辑

基于Ubuntu Hadoop的群集搭建Hive

摘要：Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。 1.安装MySQL 1.1安装MySQL Server 在Ubuntu下面安装MySQL的Server很简单，只需要运行： sudo apt- 阅读全文

posted @ 2018-04-19 17:35 J'KYO 阅读(206) 评论(0) 推荐(0) 编辑

centos7 mysql数据库安装和配置

摘要：centos7 mysql数据库安装和配置一、系统环境 yum update升级以后的系统版本为 [root@yl-web yl]# cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) 二、mysql安装一般网上给出的资料都是阅读全文

posted @ 2018-04-19 16:39 J'KYO 阅读(175) 评论(0) 推荐(0) 编辑

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

摘要：Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境本教程使用 CentOS 6.4 32位作为系统环境，请自行安装系统。如果用的是 Ubuntu 系统，请查看相应的 Ubuntu安装Hadoop教程。本教程基于原生 Hadoop 2，在 Hadoop 2 阅读全文

posted @ 2018-04-18 16:53 J'KYO 阅读(4055) 评论(0) 推荐(0) 编辑

CentOS7清理yum缓存和释放内存方法

摘要：CentOS7清理yum缓存和释放内存方法清理yum缓存清理yum缓存使用yum clean 命令，yum clean 的参数有headers, packages, metadata, dbcache, plugins, expire-cache, rpmdb, all yum clean he 阅读全文

posted @ 2018-04-18 11:28 J'KYO 阅读(19712) 评论(0) 推荐(0) 编辑

在CentOS7.4中安装jdk的几种方法及配置环境变量

摘要：在CentOS7.4中安装jdk的几种方法及配置环境变量在CentOS7.4中安装jdk的几种方法及配置环境变量一、下载jdk jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-21331 阅读全文

posted @ 2018-04-18 11:22 J'KYO 阅读(813) 评论(0) 推荐(0) 编辑

大数据基础及演练

摘要：Hadoop是一个开源的大数据框架； Hadoop是分布式计算的解决方案； Hadoop = HDFS(分布式文件系统) （存储）+ MapReduce(分布式计算) HDFS总结：普通的成百上千台机器；TB甚至PB为单位的大量的数据；简单便捷的文件获取； HDFS概念： 1.数据块数据块是抽象阅读全文

posted @ 2018-04-17 19:42 J'KYO 阅读(207) 评论(0) 推荐(0) 编辑

IDEA在编辑时提示could not autowire

摘要：IDEA在编辑时提示could not autowire 原创 2016年05月14日 10:53:38 28338 原创 2016年05月14日 10:53:38 28338 在开发中我再applicationContext-dao.xml中加入了mapper扫描器 [html] view pla 阅读全文

posted @ 2018-04-16 17:06 J'KYO 阅读(1283) 评论(0) 推荐(0) 编辑

InterlliJ IDEA 2017.3.x / 2017.3.4 License Server激活

摘要：InterlliJ IDEA 2017.3.x / 2017.3.4 License Server激活 1.Lincense Server激活 2.激活码激活激活对话框中点击第三个选项 license server，然后输入地址 http://idea.singee77.com http://im 阅读全文

posted @ 2018-04-16 09:36 J'KYO 阅读(1908) 评论(0) 推荐(0) 编辑

十大Intellij IDEA快捷键

摘要：十大Intellij IDEA快捷键十大Intellij IDEA快捷键转载from: http://blog.csdn.net/dc_726 https://blog.csdn.net/dc_726/article/details/42784275 转载from: http://blog.cs 阅读全文

posted @ 2018-04-09 17:06 J'KYO 阅读(179) 评论(0) 推荐(0) 编辑

IntelliJ Idea 集成svn 和使用

摘要：IntelliJ Idea 集成svn 和使用开始使用IntelliJ Idea尝试了一下，虽然快捷键与eclipse 有些不同，但是强大的搜索功能与“漂亮的界面”（个人认为没有eclipse好看），还是值得我们去使用的。刚开始使用的 idea要去集成svn，下载公司的项目。既然要使用sv 阅读全文

posted @ 2018-04-09 10:45 J'KYO 阅读(5846) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论