麦哲思科技

摘要： 提高数据库查询速度的几个思路 ：1、缓存，在持久层或持久层之上做缓存;2、数据库表的大字段剥离，保证单条记录的数据量很小; 3、恰当地使用索引;4、必要时建立多级索引; 5、分析Oracle的执行计划，通过表数据统计等方式协助数据库走正确的查询方式，该走索引就走索引，该走全表扫描就走全表扫描; 6... 阅读全文

摘要： 转载请注明出处：http://blog.csdn.net/djy1992/article/details/46674169 @author dujinyang 难得有时间上来写博客。 fragment虽然好用，但个人还是觉得有利有弊。 网上大都说切换状态，有挺多问题， 有很多种解决方案。 ... 阅读全文

摘要： 一.概述 从1.3版本开始Spark SQL不再是测试版本，之前使用的SchemaRDD重命名为DataFrame,统一了Java和ScalaAPI。 SparkSQL是Spark框架中处理结构化数据的部分，提供了一种DataFrames的概念，同时允许在Spark中执行以SQL,HiveQL或... 阅读全文

摘要： 1、 劣势：创建和释放Direct Buffer的代价比Heap Buffer得要高； 2、 区别：Direct Buffer不是分配在堆上的，它不被GC直接管理（但Direct Buffer的JAVA对象是归GC管理的，只要GC回收了它的JAVA对象，操作系统才会释放Direct Buffer所... 阅读全文

摘要： 转载自:http://www.importnew.com/5006.html PreparedStatement是用来执行SQL查询语句的API之一，Java提供了 Statement、PreparedStatement 和 CallableStatement三种方式来执行查询语句，其中 Sta... 阅读全文

摘要： 写了一年博客：2014-04-20，浑浑噩噩已经工作了快一年的我决定开始写Blog。最初是如何下定的决心已经记不清，开始时也仅仅是把博客当作一个笔记本，将学习过程记录下来。而且发表的文章没什么技术含量，也没人看。就这样坚持了两个月，这时自己的水平提高了些，而且积分也可以将文章发表到... 阅读全文

摘要： 以前也用了一些推荐算法写过一些应用，最近用上了网易云音乐，于是便想写篇推荐引擎的文章。 一.推荐引擎 主动发现用户当前或潜在需求，并主动推送信息给用户的信息网络。挖掘用户的喜好和需求，主动向用户推荐其感兴趣或者需要的对象。 二.推荐引擎的分类 1.基于人口统计学的推荐 根据... 阅读全文

摘要： yarn模式默认启动2个executor，无论你有多少的worker节点 standalone模式每个worker一个executor，无法修改executor的数量 partition是RDD中的一个dataset，一般默认都是2个 executor中的task数量由partition... 阅读全文

摘要： 错误提示： Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/sparkSql?user=root&password=123 ... 阅读全文

摘要： 安装mysql sudo apt-get install mysql-server mysqlCLI mysql -u root -p mysql各种操作(启动关闭等) /etc/init.d/mysql mysql配置地址 /etc/mysql/my.conf... 阅读全文