04 2019 档案
摘要：尝试了这篇博客https://blog.csdn.net/qq_40120951/article/details/85028976所说的解决办法，但对我没用。 最后是重新打开Map/Reduce解决的。
阅读全文
摘要：参考：http://tieba.baidu.com/p/3233996339#57290767555l 在CentOS中配置静态IP后不生效。 解决办法：将/etc/sysconfig/network-scripts/ifcfg-eth0文件中的DEVICE=eth0注释掉 解决过程： 一开始，配置
阅读全文
摘要：UDAF：用户自定义聚合函数 Scala 2.10.7，spark 2.0.0
阅读全文
摘要：UDF即用户自定函数，注册之后，在sql语句中使用。 基于scala-sdk-2.10.7，Spark2.0.0。 结果
阅读全文
摘要：Spark SQL是Spark中用于结构化数据处理的组件。 Spark SQL可以从Hive中读取数据。 执行结果是Dataset/DataFrame。 DataFrame是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即schema。同时，
阅读全文
摘要：RDD(Resilient Distributed Dateset)，弹性分布式数据集。 <!-- ^ Position is not set to relative / absolute here because of Mozilla --> ◆哪里体现RDD的弹性？ 1.partition的个数
阅读全文
摘要：来源：http://spark.apache.org/docs/2.0.0/configuration.html spark中的内存使用主要分为两类：执行和存储。执行内存指的是用于shuffles、join、sorts 和aggregations中的计算的内存，而存储内存指的是用于在集群中cache
阅读全文
摘要：来源：https://www.numpy.org/devdocs/user/quickstart.html 轴：即维度 eg. [1, 2, 1]，有一个轴 [[ 1, 0, 0],[ 0, 1, 2]] ，有两个轴，第一个个轴的长度是2，第二个轴的长度是3 ndarray：numpy的数组类，也叫
阅读全文
摘要：来源：http://spark.apache.org/docs/latest/submitting-applications.html 提交程序常用的一些选项 --class: The entry point for your application (e.g. org.apache.spark.e
阅读全文
摘要：来源：http://spark.apache.org/docs/latest/cluster-overview.html User program built on Spark. Consists of a driver program and executors on the cluster. （
阅读全文
摘要：来源：https://dev.mysql.com/doc/refman/5.7/en/keywords.html 标有(R)的为保留关键字。 A ACCESSIBLE (R) ACCOUNT; added in 5.7.6 (nonreserved) ACTION ADD (R) AFTER AGA
阅读全文
摘要：! 异步发送，没有返回值 !? 同步发送消息，等待返回值 !! 异步发送消息，等待返回值
阅读全文
摘要：Activate Editor F12 Activate Task Ctrl + F9 Add Artifact to Target Platform Ctrl+Alt+Shift+A Add Block Comment Ctrl+Shift+/ Add Import Ctrl+Shift+M Add Javadoc Comment Alt+Shift+J Al...
阅读全文
摘要：跑sparkPis示例程序 报如下错误的原因可能是分配的任务数过多导致内存不足。 解决办法：减少任务数 19/04/17 04:19:17 WARN NettyRpcEndpointRef: Error sending message [message = RemoveExecutor(1,Comm
阅读全文
摘要：log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper).log4j:WARN Please initialize the log4j system properly.log4j:WARN S
阅读全文
摘要：待计算的wordCount文件放在HDFS上。 wc.txt： 目标：进行WordCount计算，把结果输出到HBase表中 1.先在HBase中创建表wc 2. WCRunner.class 3. Mapper 4. Reducer 5. Eclipse Console输出 SLF4J: Clas
阅读全文
摘要：在eclipse中连接到HBase报错org.apache.hadoop.hbase.PleaseHoldException: Master is initializing，搜索了好久，网上其它人说的解决办法对我都没用： - 做时间同步 - hbase-site.xml中参数hbase.rootdi
阅读全文
摘要：在project节点上右击，Build Path->Add Libraries->JUnit
阅读全文
摘要：可能是配置的问题。 我将hive.metastore.uris从配置文件中注释掉之后解决了hiveserver2启动成功但无法通过beeline连接的问题。 问题过程： 我创建了4台centos虚拟机，node03做hive的mestore和hiveserver2节点，node04做hive客户端。
阅读全文
摘要：试了一下https://stackoverflow.com/questions/40187956/hive-failed-semanticexception-line-123-invalid-path的解决办法，把local移除，确实把问题解决了。
阅读全文
