2020年2月21日
知识文档汇总
摘要： python中的lambda表达式：https://blog.csdn.net/zjuxsl/article/details/79437563 python中没有reduce的问题：https://blog.csdn.net/zjuxsl/article/details/79437563 eclip 阅读全文
posted @ 2020-02-21 20:27 一大碗小米粥 阅读(129) 评论(0) 推荐(0) 编辑
hadoop全分布式集群搭建（4台虚拟机）
摘要： HA高可用搭建框图 YARN mr 2.x ResourceManager ：只资源管理 AppMstr 任务调度：询问ResourceManager之后先创建容器container，开辟maptask和reducetask。 NodeManager：向RM汇报资源信息。 RM也需要HA（高可用）： 阅读全文
posted @ 2020-02-21 15:29 一大碗小米粥 阅读(596) 评论(0) 推荐(0) 编辑
linux操作（持续更新）
摘要： 1、chown 将指定文件的拥有者改为指定的用户或组。 例子 //将test.txt的拥有者改为fxw，组为fxwgroup eg. chown fxw:fxwgroup test.txt 2、shell脚本开头：#!/bin/bash 阅读全文
posted @ 2020-02-21 14:42 一大碗小米粥 阅读(149) 评论(0) 推荐(0) 编辑
2020年2月20日
我的大数据学习路线（持续更新）
摘要： 1、java基础 2、linux基础 3、mysql基础（基于linux） 4、hadoop（HDFS、MapReduce、YARN） 5、hive 6、hbase 7、zookeeper 8、flume 9、sqoop 10、kafka 11、spark 阅读全文
posted @ 2020-02-20 20:42 一大碗小米粥 阅读(164) 评论(0) 推荐(1) 编辑
java多线程-学习笔记
摘要： 1 多线程背景介绍 进程 程序的执行过程，持有资源（内存）和线程。 线程 相当于在进程中再开进程，也就称之为线程。 互斥 同步 2 java线程初体验 1-1 java常用线程方法介绍 java.lang class Thread和interface Runnable都包含run方法 1-2隋唐演义 阅读全文
posted @ 2020-02-20 19:46 一大碗小米粥 阅读(142) 评论(0) 推荐(0) 编辑
java多线程-线程交互&互斥&同步
摘要： 1 package cn.test.muke; 2 3 public class EnergySystem { 4 5 private final double[] energyBoxes; 6 private final Object lockObj = new Object(); 7 8 pub 阅读全文
posted @ 2020-02-20 16:54 一大碗小米粥 阅读(254) 评论(0) 推荐(0) 编辑
2020年2月19日
java多线程-关键人物程咬金
摘要： join方法作用 理解sleep带来的效果 关键人物的类 1 package cn.test.muke; 2 3 public class KeyPersonThread extends Thread { 4 5 public void run() { 6 7 System.out.println( 阅读全文
posted @ 2020-02-19 20:51 一大碗小米粥 阅读(222) 评论(0) 推荐(0) 编辑
java多线程-军队战争
摘要： 1 package cn.test.muke; 2 3 4 //军队线程 5 //模拟作战双方的行为 6 public class ArmyRunnable implements Runnable{ 7 8 // volatile保证了线程可以正确的读取其他线程写入的值 9 // 可见性 refer 阅读全文
posted @ 2020-02-19 16:23 一大碗小米粥 阅读(251) 评论(0) 推荐(0) 编辑
java多线程-两个演员线程
摘要： 两个演员线程交替进行，一个直接继承Thread实现，另一个通过Runnable接口实现。 1 package cn.test.muke; 2 3 public class Actor extends Thread { 4 5 @Override 6 public void run() { 7 Sys 阅读全文
posted @ 2020-02-19 15:42 一大碗小米粥 阅读(197) 评论(0) 推荐(0) 编辑
pytorch-Flatten操作
摘要： 1 class Flatten(nn.Module): 2 def __init__(self): 3 super(Flatten,self).__init__() 4 5 def forward(self,input): 6 shape = torch.prod(torch.tensor(x.sh 阅读全文
posted @ 2020-02-19 15:40 一大碗小米粥 阅读(3150) 评论(0) 推荐(0) 编辑