2020年2月21日
hadoop全分布式集群搭建（4台虚拟机）
摘要： HA高可用搭建框图 YARN mr 2.x ResourceManager ：只资源管理 AppMstr 任务调度：询问ResourceManager之后先创建容器container，开辟maptask和reducetask。 NodeManager：向RM汇报资源信息。 RM也需要HA（高可用）： 阅读全文
posted @ 2020-02-21 15:29 一大碗小米粥 阅读(587) 评论(0) 推荐(0) 编辑
linux操作（持续更新）
摘要： 1、chown 将指定文件的拥有者改为指定的用户或组。 例子 //将test.txt的拥有者改为fxw，组为fxwgroup eg. chown fxw:fxwgroup test.txt 2、shell脚本开头：#!/bin/bash 阅读全文
posted @ 2020-02-21 14:42 一大碗小米粥 阅读(149) 评论(0) 推荐(0) 编辑
2020年2月20日
我的大数据学习路线（持续更新）
摘要： 1、java基础 2、linux基础 3、mysql基础（基于linux） 4、hadoop（HDFS、MapReduce、YARN） 5、hive 6、hbase 7、zookeeper 8、flume 9、sqoop 10、kafka 11、spark 阅读全文
posted @ 2020-02-20 20:42 一大碗小米粥 阅读(163) 评论(0) 推荐(1) 编辑
java多线程-学习笔记
摘要： 1 多线程背景介绍 进程 程序的执行过程，持有资源（内存）和线程。 线程 相当于在进程中再开进程，也就称之为线程。 互斥 同步 2 java线程初体验 1-1 java常用线程方法介绍 java.lang class Thread和interface Runnable都包含run方法 1-2隋唐演义 阅读全文
posted @ 2020-02-20 19:46 一大碗小米粥 阅读(139) 评论(0) 推荐(0) 编辑
java多线程-线程交互&互斥&同步
摘要： 1 package cn.test.muke; 2 3 public class EnergySystem { 4 5 private final double[] energyBoxes; 6 private final Object lockObj = new Object(); 7 8 pub 阅读全文
posted @ 2020-02-20 16:54 一大碗小米粥 阅读(252) 评论(0) 推荐(0) 编辑
2020年2月19日
java多线程-关键人物程咬金
摘要： join方法作用 理解sleep带来的效果 关键人物的类 1 package cn.test.muke; 2 3 public class KeyPersonThread extends Thread { 4 5 public void run() { 6 7 System.out.println( 阅读全文
posted @ 2020-02-19 20:51 一大碗小米粥 阅读(220) 评论(0) 推荐(0) 编辑
java多线程-军队战争
摘要： 1 package cn.test.muke; 2 3 4 //军队线程 5 //模拟作战双方的行为 6 public class ArmyRunnable implements Runnable{ 7 8 // volatile保证了线程可以正确的读取其他线程写入的值 9 // 可见性 refer 阅读全文
posted @ 2020-02-19 16:23 一大碗小米粥 阅读(247) 评论(0) 推荐(0) 编辑
java多线程-两个演员线程
摘要： 两个演员线程交替进行，一个直接继承Thread实现，另一个通过Runnable接口实现。 1 package cn.test.muke; 2 3 public class Actor extends Thread { 4 5 @Override 6 public void run() { 7 Sys 阅读全文
posted @ 2020-02-19 15:42 一大碗小米粥 阅读(195) 评论(0) 推荐(0) 编辑
pytorch-Flatten操作
摘要： 1 class Flatten(nn.Module): 2 def __init__(self): 3 super(Flatten,self).__init__() 4 5 def forward(self,input): 6 shape = torch.prod(torch.tensor(x.sh 阅读全文
posted @ 2020-02-19 15:40 一大碗小米粥 阅读(3146) 评论(0) 推荐(0) 编辑
龙良曲pytorch学习笔记_迁移学习
摘要： 1 import torch 2 from torch import optim,nn 3 import visdom 4 import torchvision 5 from torch.utils.data import DataLoader 6 7 from pokemon import Pok 阅读全文
posted @ 2020-02-19 15:38 一大碗小米粥 阅读(875) 评论(0) 推荐(0) 编辑