2017 年 11月随笔档案 - biyangqiang

书籍笔记---大数据阅读基础

摘要：第一章大数据概述第二章大数据技术与挑战第三章 MapReduce 阅读全文

posted @ 2017-11-29 23:42 biyangqiang 阅读(114) 评论(0) 推荐(0) 编辑

day08 MapReduce

摘要：PS： HDFS对于MapReduce来说，HDFS就是一个就是一个客户端。 PS: 离线就是写sql,sparkh还是写sql 1. MAPREDUCE原理篇（1） Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心阅读全文

posted @ 2017-11-28 10:08 biyangqiang 阅读(182) 评论(0) 推荐(0) 编辑

day07 hadoop里面的RPC框架使用

摘要：1.服务端发布服务 2.客户端查找服务阅读全文

posted @ 2017-11-22 14:41 biyangqiang 阅读(165) 评论(0) 推荐(0) 编辑

day07 eclipse使用本地库文件访问HDFS

摘要：常用命令 1. hdfs dfsadmin -report 查看系统的各台机器状态 1. 把haddop文件放在某I个位置用来引用 2. 3. 4.进行jar包的添加其中把所有的common lib添加，然后添加接着把hdfs的所有lib添加和添加在Windows系统端配置HDFS环境 * 阅读全文

posted @ 2017-11-20 15:09 biyangqiang 阅读(299) 评论(0) 推荐(0) 编辑

！！！！---linux常见问题和解决方案--我的

摘要：磁盘 1.mini系统没有ssh命令阅读全文

posted @ 2017-11-19 15:13 biyangqiang 阅读(191) 评论(0) 推荐(0) 编辑

day 06云计算的三种服务模式：IaaS，PaaS和SaaS

摘要：云计算的三种服务模式：IaaS，PaaS和SaaS ”云服务”现在已经快成了一个家喻户晓的词了。如果你不知道PaaS, IaaS 和SaaS的区别，那么也没啥，因为很多人确实不知道。 “云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。阅读全文

posted @ 2017-11-19 11:41 biyangqiang 阅读(197) 评论(0) 推荐(0) 编辑

day 06Hadoop

摘要：安装Hadoop可能遇到的问题离线计算系统 Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce 引擎，该引擎由 JobTrackers 阅读全文

posted @ 2017-11-18 21:18 biyangqiang 阅读(404) 评论(0) 推荐(0) 编辑

day 05JVM和深入理解java虚拟机

摘要：Java 虚拟机发展史 PS: Sun公司有 HotSpot, BEA公司有JRockit，IBM有 J9 这三个是高性能VM 在Oracle收购Sun和BEA这两家公司以后，进行两个优点整合上面的主要是电脑端的发展，其实还有很多没有商用的虚拟机如手机端 PS:这是运行在专门硬件平台的虚拟机 PS 阅读全文

posted @ 2017-11-18 12:56 biyangqiang 阅读(160) 评论(0) 推荐(0) 编辑

day05 Spring中自定义注解的用处-之获取自定义的Servie

摘要：PS: 在RPC远程调用中，想要获取自定义的service的方法，就得自定义标签遍历拿到方法 PS:在spring中，两个最核心的概念是aop和ioc，aop其实就是动态代理。 ioc 就是解决对象的创建问题。 1.自定义标签 2.实现接口中的方法 3.主程序测试 log4j:WARN No ap 阅读全文

posted @ 2017-11-17 15:18 biyangqiang 阅读(218) 评论(0) 推荐(0) 编辑

day 4 Socket 和 NIO Netty

摘要：Scoket通信这是一个例子，可以在这个例子的基础上进行相应的拓展，核心也是在多线程任务上进行修改 PS:传统的要在内核之间交互后来出现了线程池或者使用消息队列来实现一个线程或多个线程处理N个请求的模型，其实底层还是同步IO,称之为“伪异步IO ，这样其实还是会出现问题，如果队列满的话，还是会出阅读全文

posted @ 2017-11-16 20:35 biyangqiang 阅读(232) 评论(0) 推荐(0) 编辑

day3 反射与动态代理

摘要：.1.1. 动态代理在之前的代码调用阶段，我们用action调用service的方法实现业务即可。由于之前在service中实现的业务可能不能够满足当先客户的要求，需要我们重新修改service中的方法，但是service的方法不只在我们这个模块使用，在其他模块也在调用，其他模块调用的时候，现有阅读全文

posted @ 2017-11-16 20:09 biyangqiang 阅读(127) 评论(0) 推荐(0) 编辑

day4 java消息中间件服务

摘要：关于ActiveMQ、RocketMQ、RabbitMQ、Kafka一些总结和区别 ActiveMQ之消息服务器平台（发邮件）！！！！ PS: 讲个故事，老王要给他的两个女儿讲故事，他要一个一个讲很费劲，后来他使用了微信公众号，让订阅微信公众号的人关注就减轻了负担。 PS: 传统的如果一个用户进行登阅读全文

posted @ 2017-11-16 17:50 biyangqiang 阅读(174) 评论(0) 推荐(0) 编辑

day 04 Java并发多线程

摘要：并发编程的挑战 PS: 轻量级volatile PS: 上述看清是四种状态。目的是为了减小获得和释放锁的性能消耗 PS: 出现那么多的锁就是为了减少获得锁和释放锁的性能消耗；而且锁只能升级不能降级 PS: main方法天生就是一个多线程 PS : suspend 、resume 、st 阅读全文

posted @ 2017-11-15 17:20 biyangqiang 阅读(202) 评论(0) 推荐(0) 编辑

day3 zookeeper

摘要：ZooKeeper的安装配置 1、集群部署的基本流程集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意： 1.现在讲解修改配置文件，复制配置文件，修改配置文件 PS :把zookeeper发送给其他的机器 2.为每一台机器添加server的myid，这样才能标识机器阅读全文

posted @ 2017-11-15 16:52 biyangqiang 阅读(201) 评论(0) 推荐(0) 编辑

day3 自动部署安装软件到其他的机器设备上

摘要：PS:原理是在本机创建boot.sh指向每一台主机，使用脚本命令去执行，然后就会自动安装软件 install.sh PS :红色部分是为了不创建文件然后追加到 /etc/profile文件中 PS：然后给文件添加+x权限，然后执行程序。阅读全文

posted @ 2017-11-15 12:12 biyangqiang 阅读(134) 评论(0) 推荐(0) 编辑

day02 大型互联网架构演变历程笔记和nigix和keepalived

摘要：https://blog.csdn.net/rubulai/article/details/85956329 ！！！应用他人的博客，讲应用 https://blog.csdn.net/blankhang/article/details/79346216 PS :以一个交易网站看网站是如何变大的，网站阅读全文

posted @ 2017-11-14 20:16 biyangqiang 阅读(245) 评论(0) 推荐(0) 编辑

day 2 Linux Shell笔记

摘要：PS : 把命令的返回的值赋值给变量使用 ‘ ’ ，比较常用 PS:打印变量一定要用 echo $A PS：$n是为了传参数的时候获取参数。 PS:只能进行整形运算，如果需要浮点运算需要借助其他工具 PS:该为一个函数 PS:下面是高级命令行文本处理工具 cut sed awk sort c 阅读全文

posted @ 2017-11-14 17:39 biyangqiang 阅读(129) 评论(0) 推荐(0) 编辑

day2-Iptables笔记

摘要：1. iptables防火墙简介 Iptables也叫netfilter是Linux下自带的一款免费且优秀的基于包过滤的防火墙工具，它的功能十分强大，使用非常灵活，可以对流入、流出、流经服务器的数据包进行精细的控制。iptables是Linux2.4及2.6内核中集成的模块。 2. Iptables 阅读全文

posted @ 2017-11-14 15:16 biyangqiang 阅读(121) 评论(0) 推荐(0) 编辑

Redis学习笔记

摘要：1. 学习要根据What Why How 然后掌握他。 What Redis（Remote dictionary Server）它通常被称为数据结构服务器，因为值（value）可以是字符串(String), 哈希(Map), 列表(list), 集合(sets) 和有序集合(sorted se 阅读全文

posted @ 2017-11-13 17:59 biyangqiang 阅读(255) 评论(0) 推荐(0) 编辑

biyangqiang

11 2017 档案