2020年12月20日
hadoop 单台机器伪集群

  1. 网络设置

  2. /etc/sysconfig/network-scripts/ 目录下

    ifcfg-eth0文件

    BOOTPROTO="static"
DEFROUTE="yes"
IPADDR=192.168.1.10
GATEWAY=192.168.1.1
DNS1=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"

  3. /etc/ 目录下

    hosts文件

    192.168.1.10 hadoop10

  4. systemctl restart network

  5. 设置环境变量

    vim /etc/profile

    1. java

      ##java_home
JAVA_HOME=/opt/module/jdk1.8.0_151
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

      source /etc/profile

      java -version 测试

    2. hadoop

      ##hadoop_home
export HADOOP_HOME=/opt/module/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

      hadoop 测试

  6. 修改配置文件

    1. hadoop/etc/hadoop/core-site.xml

      <configuration>
    <property>
　　<!--指定namenode的地址-->
	    <name>fs.defaultFS</name>
    	<value>hdfs://127.0.0.1:9000</value>
    </property>
	<property>
　　<!--指定namenode的地址-->
	    <name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.10.1/data/temp</value>
    </property>
	<!-- 当前用户全设置成root -->	
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
	<!-- 不开启权限检查 -->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

    2. hadoop/etc/hadoop/hdfs-site.xml

      	<!-- 指定hdfs副本的数量 -->
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    3. hadoop/etc/hadoop/yarn-site.xml

      <configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop10</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation-retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

    4. hadoop/etc/hadoop/mapred-site.xml

      <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop10:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop10:19888</value>
    </property>
</configuration>

  7. 启动

    hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode

http://192.168.1.10:50070 访问测试

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh start historyserver

hdfs dfs -put /opt/module/hadoop-2.10.1/share/test.txt /input
将linux目录中的文件，上传到hdfs中

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /input /output

  8. 查看

    http://192.168.1.10:50070 hdfs

    http://192.168.1.10:8088 hadoop集群

    http://hadoop10:19888 历史

posted @ 2020-12-20 20:40 czcz1024 阅读(68) 评论(0) 推荐(0) 编辑
2020年10月29日
flink 中connect后，操作两条流的数据
摘要： 参考： https://blog.csdn.net/weixin_42155491/article/details/105333833 使用process，自定义CoProcessFunction 使用state记录两条流的数据， 在process1中，判断数据2是否存在，存在则collect，不存 阅读全文
posted @ 2020-10-29 18:01 czcz1024 阅读(471) 评论(0) 推荐(0) 编辑
2020年6月25日
seata 报错 get tablemeta failed
摘要： 网上说这个错误的比较少，找到几个都不对口 最后发现在mybatis的sql语句写法 因mapper文件是生成的， insert xxxdb.xxxtable ...... seata有检测，把前面的库名去掉就ok了 阅读全文
posted @ 2020-06-25 00:19 czcz1024 阅读(4372) 评论(0) 推荐(0) 编辑
2020年3月25日
用矩阵的方式解决背包问题
摘要： 在网上看到一个背包问题，本来是讲动态规划的 背包容量是10，3个物品，体积分别是6，5，5，价值是10，8，9。求如何装价值最大 把3个物品的体积和价值用矩阵A来表达 [[ 6 10] [ 5 8] [ 5 9]] 对每一个物品，有拿和不拿两种可能，3个物品，可能的排列组合是8种，可以用一个矩阵B来 阅读全文
posted @ 2020-03-25 10:59 czcz1024 阅读(345) 评论(0) 推荐(0) 编辑
2020年3月13日
ocelot + consul 配置
摘要： { "ReRoutes": [ { "UpstreamPathTemplate": "/api/lev2/test",//对外发布的路径 "UpstreamHttpMethod": [ "Get" ], "DownstreamPathTemplate": "/test",//下游真实api路径 "D 阅读全文
posted @ 2020-03-13 17:29 czcz1024 阅读(211) 评论(0) 推荐(0) 编辑
2018年12月27日
forfiles
摘要： 关键命令就这一条了：forfiles.exe /p "D:\Kugou" /m *.tar /d -14 /c "cmd /c del @path" 这条命令的意思就是，搜索D:/Kugou目录下的任意后缀名为tar的文件，查看其日期属性是否为14天之前的（-14表示之前，+14表示之后），然后执行 阅读全文
posted @ 2018-12-27 16:36 czcz1024 阅读(164) 评论(0) 推荐(0) 编辑
2017年6月14日
windows 安装 keras
摘要： pip install keras 报错了，看报错信息是卡在scipy上了，查了一下 https://stackoverflow.com/questions/42240720/python-scipy-giving-error-with-pip-install-scipy 到这个网址 http://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载w... 阅读全文
posted @ 2017-06-14 10:37 czcz1024 阅读(219) 评论(0) 推荐(0) 编辑
2017年6月12日
windows上使用tensorboard
摘要： 因为我的环境变量设置的不是python3.5，所以走了一些弯路。 启动tensorboard后，graphs里总是什么都没有 最后再stackoverflow里找到答案 https://stackoverflow.com/questions/41157645/tensorflow-tensorboard-on-windows-shows-a-blank-page If your su... 阅读全文
posted @ 2017-06-12 15:53 czcz1024 阅读(756) 评论(0) 推荐(0) 编辑
2016年7月26日
python类定义与c#的一些区别
摘要： c#中可以定义一个空类，但是python中定义空类需要加pass class EmptyClass(object): pass python的lei是多继承 python子类继承了基类，如果子类也写了__init__，默认基类的__init__就不调用了。 并不完全等于c#里的构造函数 可以用 父类.__init__(self) 或super(本类, self).__init_... 阅读全文
posted @ 2016-07-26 17:12 czcz1024 阅读(290) 评论(0) 推荐(0) 编辑
2016年7月22日
iis https 客户端证书
摘要： 1、自建根证书 makecert -r -pe -n "CN=WebSSLTestRoot" -b 12/22/2013 -e 12/23/2024 -ss root -sr localmachine -len 2048 2、建网站用的证书 makecert -pe -n "CN=www.aaa.com" -b 12/22/2013 -e 12/23/2024 -eku 1.3.6.1... 阅读全文
posted @ 2016-07-22 17:13 czcz1024 阅读(2584) 评论(1) 推荐(0) 编辑
下一页
点击右上角即可分享
微信分享提示