摘要:
我们开发程序的时候,好多人都喜欢用sysout输出内容来查看运行情况。但是在MR程序里写了之后,却不知道去哪里查找,可以参考这篇文章。 第一种方法,我们可以在MapReduce任务查看页面找到这些日志 1.在MapReduce任务查看页面找到任务,点击进入 2.在任务详情页最下面由执行了该任务的节点 阅读全文
摘要:
1.脚本 linux下创建一个以.sh为后缀名的文件,然后更改权限为可执行,这就变成了一个脚本文件 脚本的最简单使用方式,就是批量命令的执行。把多个连续执行的命令写入进去,方便工作。 例如如下内容 调用方式: sh test.sh 或者 ./test.sh 如果需要给脚本添加参数的话: $# 是传给 阅读全文
摘要:
在网上找到的教程一般是这样说的 然后使用 ssh localhost测试 使用root用户,或属于root组的用户如此操作的时候是没问题的 但是其他情况则没有起到免密的作用,使用SSH登录的时候仍然提示输入密码 实际上是.ssh文件夹需要更改权限 这样一来就没问题了 阅读全文
摘要:
Sqoop version:1.4.6-cdh Hadoop version:2.6.0-cdh5.8.2 场景:使用Sqoop从MSSqlserver导数据 虽然1.4.6的官网说 Even if Sqoop supports a database internally, you may stil 阅读全文
摘要:
1. 下载并安装配置Sqoop 【需要的环境:Hadoop,Java】 首先 Hadoop版本2.7.2 20161013 找了篇Sqoop的文章就开撸 结果发现什么1.3,1.9,又有什么Sqoop1,Sqoop2.乱了。 先是使用的1.3,两个多小时,各种失败。发现还有一个与hadoop的版本兼 阅读全文
摘要:
1.DataNode无法启动(其他服务完全正常) 这一般是因为NameNode和DataNode的namespaceID不一致,产生原因一般是由于两次或两次以上的格式化NameNode造成的。 我出现这个问题的场景是用一个新机器重新配置并替换掉了原来的NameNode,初始化后就出现了这个问题 有两 阅读全文
摘要:
*关于查看IP信息 window中是 ipconfig Linux一般都是 ifconfig 不过CentOS7中 这个命令发生了更改 :ip addr 设置网络 再新建虚拟机向导过程中,有一步【网络类型】有四种选择,前两种是可以连接网络的,后两种无法上网 桥接模式的配置可参考这篇文章 这里说一下针 阅读全文
摘要:
1.在调试的时候,查看EF生成的SQL语句 在Context类的构造函数中添加以下代码,就可以在调试的时候在【输出】窗口中看到SQL语句 2.EF关联数据加载 EF中有三种方式处理关联实体的数据加载:预加载,懒加载,显示加载 现在有两个类 预加载: 普通查询 返回结果 EF没有加载跟Book相关联的 阅读全文
摘要:
首先是创建DbContext,有两种途径 ①手动编写DbContext代码,同时还要记得去配置文件中添加connectionStrings ②通过创建Controller指定自动生成DbContext 在创建完一个Model之后,右击Controller文件夹(MVC项目的话),新建Controll 阅读全文
摘要:
特性路由 WebApi2默认的路由规则我们称作基于约定路由,很多时候我们使用RESTful风格的URI.简单的路由是没问题的,如 api/Products/{id},但有些事很难处理的,如资源之间存在嵌套关系:客户包含订单,书有作者属性等等。对于这种Uri,我们希望的路由是这样的:/costomer 阅读全文