heartbeat

摘要： 总结： 今天上午实现数据信息的Echats图表展示 遇到的问题： 发生了json的中文都是乱码（？）的问题。 解决方法：通过在注解中加入produces = "application/json;charset=UTF-8"保证是UTF-8的格式，如下 @RequestMapping(value = 阅读全文

摘要： 总结： 项目开发第二天： 进行hdfs数据导入hive数据库，并将hive数据库中想要的信息提取出放入mysql数据库 遇到的问题： 出现了hive查询语句发生timeout问题，最后重启虚拟机释放内存后成功查询出，但是速度还是较慢。 思维导图： 阅读全文

摘要： 总结： 开发项目，通过分析日志用户画像描绘 过程： 数据清洗，第一阶段：把需要的信息从原始日志中提取出来，第二阶段：根据提取出来的信息做精细化操作 数据处理，按照我们的需要进行相应业务的统计和分析 sHive、MapReduce分布式计算框架 处理结果入库，结果可以存放到mysql 数据的可视化，通 阅读全文

摘要： 总结： sqoop命令 sqoop导入导出数据 hive的jdbc查询 springboot集成hive进行hive表查询 遇到的问题： 在启动hive服务的时候输入hive --service hiveserver2之后再shell中卡住了，开始以为是虚拟机的问题，之后重启后发现还是有这样的问题， 阅读全文

摘要： 总结： 今天主要学习了hive的安装配置和使用，使用hive创建表等HQL语句，还学习了sqoop，使用sqoop进行mysql数据库和hdfs还有hive之间的数据导入导出。 遇到的问题： sqoop导数据时java.lang.NoClassDefFoundError:org.apache.had 阅读全文

摘要： 总结： 实现了MapReduce的倒排索引 实现了统计10000条日志中使用浏览器的不同种类的数量 安装并使用Git 学会使用mvn命令进行打jar包，并加入到Maven仓库中 预习Hive和分布式集群的搭建 遇到的问题：在使用mvn命令进行打包时，出现了一些错误，最后发现是pom.xml文件中的有 阅读全文

摘要： 总结： java下的hdfs如下基本操作： 创建hdfs目录 创建文件 查看HDFS上的文件内容 文件重命名 上传文件到hdfs 带进度条文件上传 下载hdfs文件到本地 查询/目录下所有的文件 删除文件 还有，wordcount在java下实现，倒排索引原理 遇到的问题及解决方法：在使用IDEA构 阅读全文

摘要： 总结: 安装使用IDEA还有一些知识如下： 1，列举linux常用命令shutdown nowrebootmkdirmkdir -ptouch filenamerm -r filenamerm -rf filenamevi filenamei >可编辑状态esc --> : >wq 保存退出q!wq 阅读全文

摘要： 总结：Spring IOC容器它工厂模式（类似），xml里的set，get方法，el表达式，代理模式，工厂模式，依赖反转，接口和实现类的异同，关系对象映射，Mybatis，Sqlsersion，xmlmapper，连接池，有借口没有实现类。 遇到的问题：在pom中使用lompok的时候，发现下了@d 阅读全文

摘要： 总结： 今天学习了使用MapReduce实现大量（2500000）温度信息的求平均值，并放入文件中 实现将Hadoop中的文件信息放入Mysql数据库中（使用之前的JDBC封装类）； SpringMVC流程： 1、核心拦截器（DispatchServlet）拦截用户传过来的url，并解析 2、通过u 阅读全文