10 2016 档案
摘要：防治局域网病毒 1、预防病毒 1.1 切断病毒传播途径 1.2 绑定MAC地址和IP地址 为了防止局域网中的计算机随机乱发伪造的ARP数据包，将IP地址与计算机绑定在一起，是解决ARP攻击的最好办法。具体操作如下： 按 系统键 + R ，输入cmd， arp -s IP地址 MAC地址 。 比如，其
阅读全文
摘要：写在前面的话 资源共享极大地方便了用户，也有效地利用了资源，节省了资源的重复性。通过计算机网络，不仅可以使用近距离的网络资源，还可以访问远程网络上的资源；用户可以使用远程的打印机等硬件资源，还可以使用远程计算机上的应用程序、数据等软件资源。资源共享是计算机组网的最终目的。 1 Windows 7文件
阅读全文
摘要：写在前面的话 服务器是大中型局域网的基层网络设备，负责为局域网提供网络服务、数据存储以及网络资源的管理或分配等重要任务。网络服务器的规划将直接影响网络管理方式的实施以及网络服务的搭建或管理，常用的网络服务有Active Directory服务、DHCP服务、DNS服务、WWW服务以及打印服务等。根据
阅读全文
摘要：1、使用家长控制无线网络功能 很多无线路由器都有家长控制功能，能针对孩子在周一至周日不同的学习要求，设定不同的上网时段和网站限制，让孩子远离不良网站，从而实现健康上网。 下面举例说明家长控制功能的配置，例如：在周一到周五的允许上网时间1（20:00~21:00），仅允许孩子（MAC地址为00-1A-
阅读全文
摘要：写在前面的话 无线网络，让人们彻底摆脱了线缆的束缚，可以更快捷、更轻松地实现浏览网页、收发邮件、视频会议等应用，从而让用户体验到没有线的羁绊所带来的畅快和自由。 无线局域网的简介 无线局域网（WLAN），是计算机与无线通信技术相结合的产物，通俗地说，它是一种无线形式的局域网，即利用射频技术取代传统的
阅读全文
摘要：写在前面的话 随着计算机技术发展啊，办公无纸化、网络化已经成为一种趋势。 企业局域网的概述 企业中可能有多台计算机，同时还可能有其他的硬件设备，比如打印机、扫描仪和数码相机等。通过组建小型网络，可以共享企业内部各种软、硬件资源，节约资金投入，提高设备的利用率。通过共享Internet连接，可以使得网
阅读全文
摘要：写在前面的话 网吧收费系统的软件非常错，这里以万象网管2008为例。 万象2008大大扩展了计费的范围，不仅包括传统的上机费，也包括网吧内商品、外网数字商品的统一购买和付费，而在计费、安全保护方面，万象2008也进行了极大的增强，进一步提升了服务端数据的安全保护和计费适用性支持。万象2008针对数十
阅读全文
摘要：写在前面的话 随着网络游戏产业的发展，游戏数量日益庞大。目前有超过200个以上的网络游戏，更有无数的游戏不断被开发出来。网管们要应对每天庞大的客户需求和更新，心力交瘁。 网吧游戏的三层更新 1、安装服务端 先在服务器上安装好操作系统，然后下载网维服务端，免费注册网吧ID。 步骤一：双击 NBMS_S
阅读全文
摘要：写在前面说的话 在这里，记录下来，是为了方便以后偶尔所制作所需和你们前来的浏览学习。 学会，玩弄一些视频和音频的软件，只有好处没有害处。同时，也不需很多时间，练练手罢了。也是方便自己所用吧！ 步骤一： 比如，我们在爱奇艺里，安装PC版，下载下来的一般是.qsv格式的。而这，若去改为.mp4或.avi
阅读全文
摘要：现在啊，网吧的需求越来越高，同时在经济比较充裕的情况下，作为网吧的老板可能希望打造全千兆的网吧，让每个进入网吧的人都能充分体验高速的感觉，当然更重要的是在同行竞争中处于上游，特别是对网络游戏爱好者的吸引。 路由器共享 1、设置外网IP地址 采用光纤接入的网吧一般都有ISP提供的IP地址，因此在路由器
阅读全文
摘要：写在前面的话 现在啊，利用网吧等公众场所，上网者占有不小的比例。如以一个网络普及场所身份出现的网吧或网络咖啡屋。各大城市的网吧得到了迅猛的发展，从最初的几台计算机，到现在几十台，甚至上百台计算机。 网吧局域网的简介 1、小型网吧 有7~20台计算机，上网方式采用Modem拨号上网和ADSL专线 2、
阅读全文
摘要：用户可以通过宿舍局域网聊天、观看共享盘中的影片。 利用宿舍局域网聊天 这里，推荐一款软件，飞秋（FeiQ）是一款局域网聊天传送文件的绿色免费软件，它参考了飞鸽传书（IPMSG）和QQ，完全兼容飞鸽传书协议，具备有局域网传送方便、速度快、操作简单的优点，同时具备有QQ的一些功能，是飞鸽的完美代替者。
阅读全文
摘要：写在前面的话 在宿舍中组建无线局域网可以很方便地加入各种新的电脑设备，而且 还可以方便地连接笔记本电脑、台式电脑、掌上电脑以及智能手机等。 宿舍无线局域网的简介 无线局域网网就是不用网线，遵从802.11协议，网络中的所有交换设备都用无线设备来进行组件。优点： 1、安装便捷 2、使用灵活 3、经济节
阅读全文
摘要：写在前面的话 一般情况下，大多数组建了校园网的学校都为学生宿舍提供了连接Internet接口，所以只需要通过网线将宿舍网的集线器与校园网提供的接口进行连接即可接入Internet。宿舍网接入Internet建议选择宽带IP接入Internet的方案。 1、通过宽带IP接入Internet 这里，不赘
阅读全文
摘要：写在前面的话 现在在校学生几乎都要使用网络，面对如此庞大的网络使用群体，宿舍局域网的组建就非常重要。同家庭局域网类似，宿舍局域网也拥有多台计算机，但是对组建网要求不高，可以实现资源的最大化利用。 宿舍局域网的简介 在大学校园中，拥有三四台以上计算机的宿舍已经非常普遍，随着学生计算机应用水平的不断提高
阅读全文
摘要：家庭局域网组建完成后，即可通过远程协助解决各种问题，或联机玩游戏等。 使用Windows 7\8\10 远程协助与远程桌面 Windows 8系统中自带了远程协助功能，家庭用户只需要做简单的设置，就可以让其他用户帮助自己解决使用电脑时遇到的问题，与QQ的远程协助有异曲同工之妙。 应用远程协助功能 步
阅读全文
摘要：接入Internet 建立宽带连接 步骤一：单击“网络”，再属性 步骤二：单击“更改适配器设置” 步骤三：选择“宽带连接” 步骤四：输入用户名和密码。点击“确定”
阅读全文
摘要：这里，是必须得针对Windows 7、8、10而言，因为，Windows XP 和 Windows Vista系统没有家庭网络的功能。（比较过时的一些系统了） 1、Windows家庭组的简介 使用家庭组，可轻松地在家庭网络上共享文件和打印机。其他人无法更改用户共享的文件，除非该用户授予其他用户执行此
阅读全文
摘要：前言 随着计算机硬件和整机价格的不断下降，以及使用方法的逐渐简单化，现在越来越多的家庭以及拥有了两台以上的计算机。由于家庭局域网中计算机的数目一般不多，所以没有必要采用客户机/服务器的方式。在家庭计算机比较多的情况下，将计算机连接起来构成一个小型的局域网，即可共享资源（文件、打印机、Modem和IS
阅读全文
摘要：在局域网中，服务器可以直接通过IE网上冲浪，而工作站要想通过IE上网，如果是在服务器使用代理软件的情况下，其IE需要设置代理。 步骤一：启动IE浏览器，选择“工具”，再“Internet”选项 步骤二：单击“连接”，再“局域网设置” 步骤三：选中“为LAN使用代理服务器”，在“地址”文本框中输入代理
阅读全文
摘要：局域网接入Internet，之后，在服务器安装共享代理软件，可以使客户机通过代理软件接入Internet。 局域网接入Internet 而目前几乎所有的浏览器、下载软件、信件收发软件都支持代理服务器。使用代理服务器软件代理上网，可以更好地控制客户机。 通过代理服务器共享 通过路由器共享 在Windo
阅读全文
摘要：路由器 路由器是一种多端口设备，它可以连接不同传输速率并运行于各种环境的局域网和广域网，也可以采用不同的协议。路由器属于O S I模型的第三层。第2章曾经讲过，网络层指导从一个网段到另一个网段的数据传输，也能指导从一种网络向另一种网络的数据传输。过去，由于过多的注意第三层或更高层的数据，如协议或逻辑
阅读全文
摘要：工作在OSI参考模型底层的网络设备常见有两种：中继器（Repeater）和集线器（Hub）。 中继器功能是双向发大信号，通常的作用就是当线路比较长的时候保证信号不至于衰减变形，除了产生一些延迟以外，和直接线缆相连没有区别。 集线器虽然连接多个主机，但不是交换设备，它的工作就是在一个端口收到的以太网的
阅读全文
摘要：网桥 网桥这种设备看上去有点像中继器。它具有单个的输入端口和输出端口。如图6-13所示。它与中继器的不同之处就在于它能够解析它收发的数据。网桥属于OSI模型的数据链路层；数据链路层能够进行流控制、纠错处理以及地址分配。网桥能够解析它所接受的帧，并能指导如何把数据传送到目的地。特别是它能够读取目标地址
阅读全文
摘要：说在前面的话 局域网接入Internet的方式多样： 有1传统的Modem（调制解调器）拨号接入，费用低廉的2 ISDN和 3 ADSL接入，费用较高的4 DDN专线接入，5 Cable Modem高速接入，6 机顶盒接入等。 对于中、大型局域网，通常使用专线方式接入互联网， 对于小型局域网、家庭局
阅读全文
摘要：双机互联网络 集线器互联网络 交换机互联网络 路由器互联网络 双机互联网络 计算机与计算机连接 如果只有两台计算机进行互连，也可以使用双绞线将两台计算机的网卡连接在一起，但是必须使用交叉线方法制作的网线，才能正常连接。 双绞线的连接标准EIA/TIA对双绞线的连接制定了标准，使用数据通信更加规范而且
阅读全文
摘要：说在前面的话 集线器运行在OSI模型的第一层、交换机在第二层、路由器在第三层。 网络的硬件设备，包括：网卡、集线器、交换机、路由器、网关、网桥和测试网络设备。 1、网卡 网卡可以插在电脑的主板扩展槽中或集中在主板上，还有通过USB接口连接的无线网卡。 台式机网卡，又属于PCI-E网卡 笔记本网卡 无
阅读全文
摘要：说在前面的话 Windows Server 2003，和Windows XP十分相似，可以简单地认为Windows Server 2003是在Windows XP的基础上多了一些服务器管理和操作的功能，但这并不意味着Windows Server 2003就是Windows XP。 Windows S
阅读全文
摘要：硬件工具 压线钳 测试仪 万用表 同轴电缆 双绞线 双绞线的分类 双绞线的制作方法 网线水晶头制作图解教程 http://www.360doc.com/content/12/0130/13/8395472_182723119.shtml 光纤 光纤的分类 无线传输 无线电波 微波 红外线 射频传输
阅读全文
摘要：为什么要用对等网？ 答：对等网采用分散管理的方式，网络中的每台计算机既作为客户机又可作为服务器来工作，每个用户都管理自己机器上的资源。 组建局域网中无集线器的对等网 组建局域网中Windows XP的对等网 组建局域网中Windows 7的对等网 组件局域网中Windows 8的对等网 1、组建局域
阅读全文
摘要：小型局域网的组件方案 中型局域网的组件方案 大型局域网的组件方案 以后更新。
阅读全文
摘要：按服务方式分 按数据交换方式分 1、按地理位置分 计算机网络发展至今，按地理范围划分，可分为：局域网、城域网、广域网。其中局域网按照介质访问控制方法角度分为共享介质式局域网和交换式局域网，按传输介质类型角度分类课分为有线介质局域网和无线介质局域网。局域网的核心设备是局域网交换机，局域网技术的特点有：
阅读全文
摘要：这里，以Windows XP和Windows 7版本为例。 在安装了IPX/SPX协议或TCP/IP协议的Windows计算机上可以设置计算机的内部网络号码，主要可以防止进行局域网连接时出现冲突现象。 说明：在Windows 7、8、10中，是已经没有了IPX/SPX协议了。 步骤一：选择“属性”
阅读全文
摘要：为什么要安装可靠多播协议？ 答：随着因特网的发展，出现了视频点播、电视会议、远程学习、计算机协同工作等新业务。传统的点到点通信方式，不仅浪费大量的网络带宽，而且效率很低。一种有效利用现有带宽的技术就是多播技术。 多播(MultiCast)是一种点到多点(或多点到多点)的通信方式，即多个接收者同时接收
阅读全文
摘要：为什么要安装可靠多播协议？ 答：随着因特网的发展，出现了视频点播、电视会议、远程学习、计算机协同工作等新业务。传统的点到点通信方式，不仅浪费大量的网络带宽，而且效率很低。一种有效利用现有带宽的技术就是多播技术。 多播(MultiCast)是一种点到多点(或多点到多点)的通信方式，即多个接收者同时接收
阅读全文
摘要：一、概念 协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则，超文本传输协议(HTTP)是一种通信协议，它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器。 HTTP协议，即超文本传输协议(Hypertext transfer protocol)。是一种详
阅读全文
摘要：TCP/IP协议 IPX/SPX协议 NetBIOS协议和NetBEUI协议 Apple Talk协议 1、TCP/IP协议 TCP/IP协议，不是一个简单的协议，而是一组小的、专业化协议，包括TCP、IP、UDP、ARP、ICMP以及其他的一些被称为子协议的协议。 TCP/IP协议群中的子协议或T
阅读全文
摘要：网络中的计算机等设备要实现互联，就需要以一定的结构方式进行连接，这种连接方式就叫做"拓扑结构"，通俗地讲这些网络设备如何连接在一起的。目前常见的网络拓扑结构主要有以下四大类： （1）星型结构 （2）环型结构 （3）总线型结构 （4）星型和总线型结合的复合型结构 下面我们分别对这几种网络拓朴结构进行一
阅读全文
摘要：说在前面的话： 网络管理员几乎每天都要接触网络设备和服务器等硬件，而组件计算机网络，离不开网卡、调制解调器、集线器、交换机、路由器等常见的网络设备，面对日益复杂的网络技术，网络管理员应当具备有非常强的自学能力，以及强烈的求知欲，这样才能不断更新硬件知识，掌握最新网络技术。 局域网的基本组成 一个完整
阅读全文
摘要：不多说，直接上干货！ 数据流模型 数据流模型是由数据流、数据处理任务、数据节点、数据处理任务实例等构成的一种数据模型。本节将介绍的数据流模型如图1所示。 分布式流处理系统由多个数据处理节点（node）组成，每个数据处理节点上运行有多个数据任务实例，每个数据任务实例属于一个数据任务定义。任务实例是在任
阅读全文
摘要：不多说，直接上干货！ 事务 这里的事务是专门针对Topology提出来的，是为了解决元组在处理失败重新发送后的一系列问题的。简而言之，事务拓扑（transactional topology）就是指Storm以并行和顺序处理混合的方式处理元组，一方面是处理消息，将消息分为一批批，并行处理同一批内的消息
阅读全文
摘要：不多说，直接上干货！ Worker、Task、Executor三者之间的关系 Storm集群中的一个物理节点启动一个或者多个Worker进程，集群的Topology都是通过这些Worker进程运行的。 然而，Worker进程中又会运行一个或者多个Executor线程，每个Executor线程只运行一
阅读全文
摘要：不多说，直接上干货！ Worker工作者进程 工作者进程（Worker）是一个java进程，执行拓扑的一部分任务。一个Worker进程执行一个Topology的子集，它会启动一个或多个Executor线程来执行一个Topology的组件（Spout或Bolt）。因此，拓扑在执行时，可能跨一个或多个W
阅读全文
摘要：不多说，直接上干货！ 每一个Spout/Bolt的线程称为一个Task。 Task任务 Task是运行Spout或Bolt的单元，每一个Spout/Bolt的线程称为一个Task。 在Storm 0.8及之后的版本中，Task不再与物理线程对应，同一个Spout/Bolt的Task可能会共享一个物理
阅读全文
摘要：不多说，直接上干货！ Stream消息流是Storm中最关键的抽象，是一个没有边界的Tuple序列。 Stream Grouping 消息流组是用来定义一个流如何分配到Tuple到Bolt。 Stream消息流和Stream Grouping消息流组 Storm核心的抽象概念是“流”。流是一个分布式
阅读全文
摘要：不多说，直接上干货！ Hadoop 上运行的是 MapReduce 作业，而在 Storm 上运行的是拓扑 Topology，这两者之间是非常不同的。一个关键的区别是：一个MapReduce 作业最终会结束，而一个 Topology 拓扑会永远运行（除非手动杀掉）。 Topology拓扑 从字面上解
阅读全文
摘要：不多说，直接上干货！ Bolt消息处理者 认识了消息源Spout和消息的数据存储元组Tuple，接下来了解消息的处理者Bolt。Bolt是接收Spout发出元组Tuple后处理数据的组件，所有的消息处理逻辑被封装在Bolt中，Bolt负责处理输入的数据流并产生输出的新数据流。 1. Bolt介绍 消
阅读全文
摘要：不多说，直接上干货！ Spout 数据源 消息源Spout是Storm的Topology中的消息生产者（即Tuple的创造者）。 Spout 介绍 1. Spout 的结构 Spout 是 Storm 的核心组件之一，最源头的接口是 IComponent，如图 1所示，几个Spout接口都继承自IC
阅读全文
摘要：不多说，直接上干货！ Tuple元组 Tuple 是 Storm 的主要数据结构，并且是 Storm 中使用的最基本单元、数据模型和元组。 Tuple 描述 Tuple 就是一个值列表， Tuple 中的值可以是任何类型的，动态类型的Tuple的fields可以不用声明；默认情况下，Storm中的T
阅读全文
摘要：开始使用storm 本章将讲述如何安装、部署、启动和停止 Storm 集群。 Storm 的安装比较简单，但在安装 Storm 之前需要做好充足的准备，本章将介绍安装的整个流程。在官网上可以下载到Storm 最新的和稳定的几个版本。截至本书截稿之前， Storm 的最新版本是 0.9.3，但是本书主
阅读全文
摘要：不多说，直接上干货！ storm的功能 Storm 有许多应用领域：实时分析、在线机器学习、持续计算、分布式 RPC（远过程调用协议，一种通过网络从远程计算机程序上请求服务）、 ETL（Extraction-Transformation-Loading 的缩写，即数据抽取、转换和加载）等。 下面介绍
阅读全文
摘要：不多说，直接上干货！ storm的特性 Storm 是一个开源的分布式实时计算系统，可以简单、可靠地处理大量的数据流。 Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个节点每秒可以处理数以百万计的消息）。 Storm 的部署和运维都很便捷，而且更
阅读全文
摘要：不多说，直接上干货！ Storm核心组件 了解 Storm 的核心组件对于理解 Storm 原理非常重要，下面介绍 Storm 的整体，然后介绍 Storm 的核心。 Storm 集群由一个主节点和多个工作节点组成。主节点运行一个名为“Nimbus”的守护进程，工作节点都运行一个名为“Supervi
阅读全文
摘要：不多说，直接上干货! Storm与Hadoop的角色和组件比较 Storm 集群和 Hadoop 集群表面上看很类似。但是 Hadoop 上运行的是 MapReduce 作业，而在 Storm 上运行的是拓扑 Topology，这两者之间是非常不同的。一个关键的区别是：一个MapReduce 作业最
阅读全文
摘要：不多说，直接上干货！ storm的设计思想 在 Storm 中也有对流（Stream）的抽象，流是一个不间断的、无界的连续 Tuple（Storm在建模事件流时，把流中的事件抽象为 Tuple 即元组）。Storm 认为每个流都有一个 Stream 源，也就是原始元组的源头，所以它将这个源头抽象为
阅读全文
摘要：不多说，直接上干货！ storm简介 Storm 是 Twitter 开源的、分布式的、容错的实时计算系统，遵循 Eclipse Public License1.0。 Storm 通过简单的 API 使开发者可以可靠地处理无界持续的流数据，进行实时计算。 Twitter Storm 是使用 Cloj
阅读全文
摘要：不多说，直接上干货！ storm出现的背景 互联网从诞生的第一时间起，对世界的最大改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家有对信息实时响应、实时交互的需求，所以软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是发展最快、收益最为丰厚的产品了。记得十年前
阅读全文
摘要：不多说，直接上干货！ 什么是实时流计算？ 1、实时流计算背景 2、实时计算应用场景 3、实时计算处理流程 4、实时计算框架 什么是实时流计算？ 所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、
阅读全文
摘要：不多说，直接上干货！ 这是书籍《从零开始学Storm》赵必厦 2014年出版的配套代码！ storm-starter项目包含使用storm的各种各样的例子。项目托管在GitHub上面，其网址为: http://github.com/nathanmarz/storm-starter 或者 storm-
阅读全文
摘要：本博文面向零基础，一步一步学shell编程，入门！ #!/bin/bash echo "前进程号:"$$ echo "start" sleep 10 kill $$ sleep 900000000 echo "end" [root@weekend110 shell]# cat for.sh #!/b
阅读全文
摘要：参考博客： http://www.cnblogs.com/mchina/p/3812190.html 代理服务器，其实，就是指可以代替计算机用户进行数据包和其他信息的转发以及将用户需要的信息传递给计算机用户端。 代理服务器，分为标准代理服务器、透明代理服务器和方向代理服务器。介于客户端和互联网之间，
阅读全文
摘要：nslookup 主要用于测试DNS服务器是否正常工作，除此之外，还可以对域名和IP地址进行查询。 [root@weekend110 ~]# nslookup> www.guet.edu.cn 输入待查询的域名 www.guet.edu.cnServer: 192.168.80.2Address:
阅读全文
摘要：1、互联网软件 Firefox Web浏览器 Konqueror浏览器 KNewsTicker新闻播报器 Kopete客户消息即时工具 Krdc远程桌面连接工具 2、图像处理软件 gThumb图像浏览器 GIMP图像处理软件 3、影音软件 CD播放机 音乐榨汁机CD提取器 命令行播放器ogg123
阅读全文
摘要：1、IP地址概述 2、配置IP地址 查看IP地址 在网卡上绑定一个IP地址 同一张网卡上绑定多个IP 绑定一块网卡设备 修改或删除IP地址 IP地址概述 这里不多赘述，参考《计算机网络》课程。 配置IP地址 [root@weekend110 ~]# ifconfigeth0 Link encap:E
阅读全文
摘要：参考：http://blog.csdn.net/yuliu0552/article/details/6711659 更多的网络知识，见，《计算机网络》课程。比如，LAN、MAN、WAN、Internet、星型拓扑结构、总线型拓扑结构、环型拓扑结构、混合型拓扑结构、OSI模型、TCP/IP模型、主机名
阅读全文
摘要：本博文的主要内容有 .系统内存管理、监控：vmstat和free -mt .系统CPU管理、监控：sar -u、mpstat、uptime linux系统内存和CPU是在系统运行的过程中不断消耗的资源，其随系统进程的不断增加而减少，并在进程关闭后会回收有些资源。通过对系统内存和CPU使用率的监控，就
阅读全文
摘要：.磁盘性能监控 1、系统磁盘信息获取：df 2、系统磁盘性能监控：sar和iostat .磁盘空间限制 系统磁盘信息获取：df [root@weekend110 ~]# man dfDF(1) User Commands DF(1) NAME df - report file system disk
阅读全文
摘要：命令类型 DOS Linux DOS示例 Linux示例 复制文件 copy cp copy c:\teacher1\file1 d:\tmp cp /home/teacher1/file1 /tmp 转移文件 move mv move file1.doc c:\teacher1\ mv file1
阅读全文
摘要：1、添加新用户组 2、修改用户组属性 3、删除用户组 4、解析/etc/group文件 5、解析/etc/gshadow文件 添加新用户组 新建用户组、用户、用户密码、删除用户组、用户（适合CentOS、Ubuntu） 修改用户组属性 例如，修改teacher用户组的组标识号，为503。 #grou
阅读全文
摘要：1、修改root密码 2、使用su命令切换切root 3、root密码丢失的处理 修改root密码 #passwd root Changing password for user root New password:(输入root用户的新密码) Retype new password:(再次输入ro
阅读全文
摘要：1、添加新用户 2、解析/etc/passwd文件 3、解析/etc/shadow文件 4、修改用户的账号 5、删除用户 6、用户的临时禁用 7、用户默认配置文件/etc/login.defs 8、使用newusers命令批量添加用户 添加新用户 新建用户组、用户、用户密码、删除用户组、用户（适合C
阅读全文
摘要：本博文的主要内容有 .进程简介 .查看linux系统进程的分布结构 .查看linux系统当前，有哪些进程在运行 .对linux系统进行动态监控 .进程的创建和终止 .什么是后台进程 .什么时候使用后台进程 1、进程简介 2、系统进程信息 3、进程创建 4、进程终止 进程简介 系统启动的第一个进程是i
阅读全文
摘要：1、文件系统信息 2、创建文件系统 3、挂载和卸载文件系统 4、删除文件系统 文件系统信息 目前啊，在Linux操作系统中，最常用的的文件系统主要有ext2、ext3和ext4。那么，怎查看呢？ df 查看文件系统信息 df -h 更明了查看文件系统信息 对于，系统开机后自动挂载的所有文件系统，都可
阅读全文
摘要：1、rpm安装包 2、源码安装包 3、bin安装包 rpm安装包 1）软件安装 rpm -ivh ***.rpm 2）软件删除 rpm -e ***.rpm 3）软件升级 rpm -Uvh ***.rpm 4）查看已安装的某个软件产生的文件所在的位置时，可使用 rpm -ql ***.rpm 5）查
阅读全文
摘要：1、tar命令 文件归档备份 2、zip命令 压缩文件程序 3、unzip命令 解压缩 .zip压缩文件 4、bzip2命令 压缩文件程序 5、bunzip2命令 解压缩 .bz2压缩文件 6、gzip命令 压缩文件程序 7、gunzip命令 文件解压缩 见 Compress、tar、gzip、zc
阅读全文
摘要：1、kill命令 终止执行中的程序 2、last命令 显示登录系统的用户信息 3、free命令 显示系统内存状态 4、uname命令 显示系统信息 5、date命令 显示或设置系统的日期时间 6、hwclock命令 设置系统硬件时钟 kill命令 见hadoop-2.6.0.tar.gz的集群搭建（
阅读全文
摘要：1、dd命令 将指定大小的块复制到一个文件 2、mkswap命令 设置linux系统的交换分区 3、fdisk命令 设置linux系统磁盘分区 4、df命令 显示linux系统磁盘空间使用信息 5、mount命令 挂载文件系统 dd命令 见 mkswap命令 见 磁盘分区 fdisk命令 见 磁盘分
阅读全文
摘要：1、cat命令 将文件内容连接后传送到标准输出或重定向到文件 2、chmod命令 更改文件的访问权限 3、chown命令 更改文件的所有者 4、find命令 查找（符合条件）文件并将查找结果输出 5、ln命令 在文件之间创建链接 6、rm命令 删除文件或目录 7、wc命令 计算文件或标准输出设备的字
阅读全文
摘要：图形化界面创建ln 命令行界面创建ln 命令行界面创建ln 后续，更新
阅读全文
摘要：关机命令： shutdown 重启：reboot 快速关机: poweroff -f、halt、 关机：init 0
阅读全文
摘要：mkdir 创建单个或批量多个目录（常用参数：-p递归创建目录） touch 创建单个或批量创建多个文件 cp 拷贝文件或目录（常用参数：-p保持属性 -a或-r拷贝目录） mv 移动或剪切文件或目录，也可以改名。 rm 删除文件或目录（常用参数：-f强制 -r删目录 -i提示确认） rmdir r
阅读全文
摘要：tab：命令或路径补全键 Ctrl +c :终止当前任务命令或程序 Ctrl +d :退出当前用户环境 Ctrl +Shift+c ssh客户端ssh里复制的命令 Ctrl + a到开头 Ctrl + e到结尾 Ctrl + u 删除所在行 ls exit Ctrl +d :退出当前用户，相当于ex
阅读全文
摘要：一般如果是命令间传递参数，建议用管道，如果处理输出结果需要重定向到文件，建议用重定向输出。 管道 tar --help |more 退出按q。 重定向 > 输出导向 >> 输出导向 1> 是以覆盖的方法将正确的数据输出到指定的文件或设备上 2> 是以覆盖的方法将错误的数据输出到指定的文件或设备上 1
阅读全文
摘要：Linux下方便安装软件的工具yum，软件包是rpm包。类似win32下的exe yum安装软件，默认获取rpm包的途径是国外官方源。 Yum安装软件，默认获取rpm包的途径从国外官方源，改成国内的源。 yum –y install *** cd /etc/yum.repos.d ll yum -y
阅读全文
摘要：wall 是在linux中用于发送广播信息的命令，他可以让所有的在线用户都收到信息 wall hi 然后，按Ctrl + c 退出
阅读全文
摘要：useradd是新建用户 userdel -r 是删除用户 passwd是修改密码 groupadd是新建组 groupdel是删除组 useradd yonghu 为添加用户 echo “123456”|passwd –stdin yonghu 给新创的yonghu用户，设置密码。 其中|是管道，
阅读全文
摘要：ls touch 1.txt 2.txt 3.txt touch {a,b,c}.txt ls
阅读全文
摘要：显示1.txt的最后2行 tail -2 1.txt 显示1.txt的最后1行 tail -n 1 1.txt tail -1 1.txt 显示1.txt的最后10行 tail 1.txt 现在，若1.txt内容是1到40 我想取20到30的内容 head -30 1.txt|tail sed -n
阅读全文
摘要：seq 5 seq 5 >1.txt 其中的>是覆盖 seq 1 5 用来产生从数1到数5之间的所有整数 或， seq 5
阅读全文
摘要：pwd是print working directory, 分号的作用，是用来分开两个命令的 如， pwd;pwd
阅读全文
摘要：mv命令行，即move umask chattr 设置文件或目录的隐藏属性 lsattr显示文件或目录的隐藏属性 ls mv 1.txt aa ls cd aa ls mkdir aa bb ls mv aa cc ls mv 1.txt 2.txt ls umask umask -S su roo
阅读全文
摘要：mkdir whoami touch：“摸”，如果文件不存在，就建立新文件，如果存在，就改变文件的访问时间atime等时间戳信息。 mkdir aa ls –ld aa 创建多级目录 mkdir –p a/b/c tree a ls mkdir {1..10} echo {1..10} whoami
阅读全文
摘要：hostname uname fdisk -l
阅读全文
摘要：find /etc -name "services" -exec ls -l {} \; find /etc -name "services" |xargs ls -l\ find /etc -name "services" find /etc -name "services" -print|xar
阅读全文
摘要：用户账号与密码参数： /etc/passwd 、 /etc/shadow 用户组相关方面的条件: /etc/group 、 /etc/gshadow 用户个人文件数据: /home/username 、 /var/spool/mail/username 要帮一般账号新建密码 : passwd 一般账
阅读全文
摘要：echo 是一个打印输出内容的一个常用命令，配合“>或>>”可以为文件覆盖及追加内容。 ”>”意思为重定向，会清除文件里所有以前数据。 “>>”为内容追加，只在文件尾部追加需要的内容。 echo $PATH 〉是首选将原来的东西给清空，再追加。 cat 1.txt echo "Good” > 1.t
阅读全文
摘要：date cal date是显示日期与时间 date +%Y/%M/%D date +%Y/%m/%d date +%H:%M cal cal 2016
阅读全文
摘要：讲解内容： Linux环境中，压缩文件案的扩展名大多是*.tar，*.tar.gz，*.tgz，*.gz，*.Z，*.bz2。 *.z compress程序亚索的文件； *.gz gzip程序压缩的文件； *.bz2 bzip2程序压缩的文件； *.tar tar程序打包的数据，并没有压缩过； *.
阅读全文
摘要：讲解内容： r:读写目录或文件的权限 read w :写入目录或文件的权限 write x ：执行目录或文件的权限 -:删除目录或文件的权限 s:特殊权限，更改目录或文件的权限 u :目录或文件的当前用户 user g:目录或文件当前的群组 group o:除目录或文件的当前用户或群组之外的用户或群
阅读全文
摘要：cat是查看文件内容， cp –cp是连目录及件文件都拷贝 cp是拷贝文件 a.txt里的内容是， abc def ghi cat a.txt |grep –v ghi 得到结果， abc def head -2 a.txt 得到结果， abc def cat 1.txt 2.txt >3.txt
阅读全文
摘要：本博文的主要内容有 .逻辑卷概述 .逻辑卷的创建 .逻辑卷的管理 逻辑卷概述 逻辑卷的百度百科： http://baike.baidu.com/link?url=oe4UU_Vn6SNmEbKHe-KGwoZsGO6rSbXmOrwbXaGmrBYCImSNDztbWrlAHInH_Huz3ZGAw
阅读全文
摘要：本博文的主要内容有 .表的概念 .创建表 语法形式来创建表 SQLyog客户端软件来创建表 .查看表 语法形式来查看表 SQLyog客户端软件来查看表 .删除表 语法形式删除表 SQLyog客户端软件来删除表 .修改表 语法形式修改表 修改表名 增加字段 在表的最后一个位置增加字段 在表的第一个位置
阅读全文
摘要：本博文的主要内容有 .数据类型的概念 .整数类型 .浮点数类型 .定点数类型 .位类型 .日期类型 .时间类型 .字符串类型 在MySQL数据库管理系统中，可以通过存储引擎来决定表的类型，即其决定了表的存储方式。 在MySQL数据库管理系统中，可以通过数据类型决定数据的类型，即其决定了数据的存储方式
阅读全文
摘要：本博文的主要内容有 .存储引擎的概念 .MySQL5.5 所支持的存储引擎 .操作默认存储引擎 .选择存储引擎 与其他的数据库软件不同，MySQL数据库软件提供了一个名为存储引擎的概念，由于存储引擎是以插件的形式被MySQL数据库软件引入，所以可以根据实际应用、实际的领域来选择相应的存储引擎。 My
阅读全文
摘要：本博文的主要内容有 .SQLyog的下载 .SQLyog的安装 .SQLyog的使用 前期，安装这个，不多说 MySQL Server类型之MySQL客户端工具的下载、安装和使用 1、SQLyog的下载 1、进入SQLyog官网， https://www.webyog.com/en 或 https:
阅读全文
摘要：本博文的主要内容有 .创建数据库 通过语法形式来创建数据库 通过客户端工具来创建数据库 .查看数据库 .选择数据库 .删除数据库 数据库的操作，包括：创建数据库、查看数据库、选择数据库和删除数据库。 1、创建数据库 创建数据库，实际上就是，在数据库服务器中划分一块空间，用来存储相应的数据库对象。 M
阅读全文
摘要：本博文的主要内容有 .数据库 .数据库对象 数据库分为，系统数据库和用户数据库。 系统数据库，是指安装完MySQL服务器之后，会附带的一些数据库。 用户数据库，是用户根据实际需求创建的数据库。 数据库对象，是指，存储、管理和使用数据的不同结构形式，主要包含：表、视图、存储过程、函数、触发器和事件。
阅读全文
摘要：本博文的主要内容有 .SQLyog软件的安装、下载和使用 .Navicat for MySQL软件的安装、下载和使用 1、SQLyog软件的安装、下载和使用 2、Navicat for MySQL软件的安装、下载和使用 参考我的博客:见 Navicat for MySQL的下载、安装和使用 感谢，作
阅读全文
摘要：本博文的主要内容有 .命令行客户端软件 MySQL Command Line Client .MySQL-Workbench客户端软件 1、命令行客户端软件 MySQL Command Line Client 2、MySQL-Workbench客户端软件 参考我的博客，如下： MySQL Workb
阅读全文
摘要：本博文的主要内容有 .通过图形界面来启动和关闭MySQL服务 .通过DOS窗口来启动和关闭MySQL服务 1、通过图形界面来启动和关闭MySQL服务 2、通过DOS窗口来启动和关闭MySQL服务 感谢，作者！ http://pan.baidu.com/s/1kVnqLuf
阅读全文
摘要：不多说，直接上干货！ 本博文的主要内容有 .磁盘分区的概述 .常用的磁盘管理工具 ./下分5G，给/home扩容 .系统自带的fdisk和parted这两款工具 .磁盘空间管理 前言 系统自带的fdisk和parted这两款工具，可以为我们提供更方便地对磁盘空间进行查看和管理的能力，也可以使用带-l
阅读全文
摘要：本博文的主要内容有 .Google的一些功能和软件 Google的一些功能和软件 1、 iGoogle 2、 Google Earth 3、 Google Talk http://www.google.com/talk/intl/zh-CN/ 后续持续推送，更新！ 欢迎大家，加入我的微信公众号：大数
阅读全文
摘要：本博文的主要内容有 .Google辅助类软件的介绍 .重点首推! Google软件精选管理器 1、Google辅助类软件的介绍 1、 Google软件精选管理器的下载和安装使用 2、 Google工具栏的设置、搜索、书签、其他应用 3、 Picasa照片管理软件的配置、导入照片、建立相册、修正图片、
阅读全文
摘要：本博文的主要内容有 .Google协作平台的介绍 1、Google协作平台的介绍 https://zh.wikipedia.org/wiki/Google%E5%8D%8F%E4%BD%9C%E5%B9%B3%E5%8F%B0 Google协作平台，http://sites.google.com/
阅读全文
摘要：本博文的主要内容有 .Google邮箱的介绍 1、Google邮箱的介绍 https://zh.wikipedia.org/wiki/Gmail http://mail/google.com/ https://www.google.com/intl/zh-CN/mail/help/about.htm
阅读全文
摘要：本博文的主要内容有 .Google表单的介绍 https://www.google.com/intl/zh-CN/forms/about/ 自行去注册Google账号，不多，赘述。 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http://www
阅读全文
摘要：本博文的主要内容有 .Google幻灯片的介绍 https://www.google.com/intl/zh-CN/slides/about/ 自行去注册Google账号，这里，不多赘述。 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http:/
阅读全文
摘要：本博文的主要内容有 .Google表格的介绍 https://www.google.com/intl/zh-CN/sheets/about/ https://accounts.google.com/ServiceLogin?service=wise&passive=1209600&continue=
阅读全文
摘要：本博文的主要内容有 .Google文档的介绍 1、Google文档的介绍 https://zh.wikipedia.org/wiki/Google%E6%96%87%E4%BB%B6 http://docs.google.com/ https://www.google.com/intl/zh-CN/
阅读全文
摘要：本博文的主要内容有 .Google翻译的介绍 .Google翻译之一：内容板块的翻译 .Google翻译之二：网页的翻译 .Google翻译之四：文档的翻译 .Google翻译之四：Google翻译辅助系统 .Google翻译之五：Google网站翻译辅助系统 .Google翻译之六：全球商机洞察
阅读全文
摘要：本博文的主要内容有 .Google财经的介绍 .市场 .新闻 .投资组合新闻 .投资组合 1、Google财经的介绍 https://zh.wikipedia.org/wiki/Google%E8%B4%A2%E7%BB%8F 谷歌财经 www.google.com.cn/finance https
阅读全文
摘要：本博文的主要内容有 .Google生活的介绍 1、Google生活的介绍 Google生活搜索的官网： http://shenghuo.google.cn/shenghuo/ http://shenghuo.google.com/shenghuo/ 后续持续推送！ 欢迎大家，加入我的微信公众号：大数
阅读全文
摘要：本博文的主要内容有 .Google视频搜索的介绍 .Google视频搜索之一：普通搜索 .Google视频搜索之二：高级搜索 1、Google视频搜索的介绍 https://zh.wikipedia.org/wiki/Google%E8%A7%86%E9%A2%91 http://video.goo
阅读全文
摘要：本博文的主要内容有 .Goole音乐搜索的介绍 1、Goole音乐搜索的介绍 https://zh.wikipedia.org/wiki/%E8%B0%B7%E6%AD%8C%E9%9F%B3%E4%B9%90 https://play.google.com/music/listen 2012年9月
阅读全文
摘要：本博文的主要内容有 .Google图片搜索的介绍 .Google图片之普通搜索 .Google图片之高级搜索 1、Google图片搜索的介绍 Google的图片搜索，不仅通过关键字查找拥有特定标注的图片，还可以根据图片的内容进行筛选图片。包括图片类型、图片颜色等。 Google的图片搜索官网： ht
阅读全文
摘要：本博文的主要内容有 .Google网页搜索的介绍 .Google网页搜索的使用偏好设置 .Google网页搜索的普通搜索 .Google网页搜索的高级搜索 .Google高级搜索之一：布尔逻辑搜索 .Google高级搜索之一：布尔逻辑搜索 .Google高级搜索之一：布尔逻辑搜索 .Google高级
阅读全文
摘要：本博文的主要内容有 .Google Picasa的下载 .Google Picasa的安装 .Google Picasa的使用 Google 的免费图片管理工具Picasa，数秒钟内就可找到并欣赏计算机上的图片。 Picasa 原为独立收费的图像管理、处理软件，其界面美观华丽， 功能实用丰富。后来被
阅读全文
摘要：本博文的主要内容有 .Google桌面搜索引擎的下载 .Google桌面搜索引擎的安装 .Google桌面搜索引擎的使用 1、Google桌面搜索引擎的下载 http://download.csdn.net/detail/u010106732/9654846 使用Google桌面搜索计算机如同使用G
阅读全文
摘要：前言 前天，在图书馆，无意之中，发现这本书，特写博客来与各位前来下榻本园的博友们，分享和学习！ 本博文的主要内容有： 参考此书。感谢韩梅编者，出于此，我写本博文为了方便日后自己的查阅使用和来我园的共同交流的博友们参考！谢谢 http://baike.baidu.com/link?url=c3Gkeq
阅读全文
摘要：本博文的主要内容有 .kafka整合storm .storm-kafka工程 .storm + kafka的具体应用场景有哪些？ 要想kafka整合storm，则必须要把这个storm-kafka-0.9.2-incubating.jar，放到工程里去。 无非，就是storm要去拿kafka里的东西
阅读全文
摘要：本博文的主要内容有 kafka的单机模式部署 kafka的分布式模式部署 生产者java客户端编程 消费者java客户端编程 运行kafka ，需要依赖 zookeeper，你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。 单机模式，用的是kafka自带的zo
阅读全文
摘要：本博文的主要内容有 .kafka的官网介绍 http://kafka.apache.org/ 来，用官网上的教程，快速入门。 http://kafka.apache.org/documentation kafka的官网文档教程。 The Producer API allows an applicat
阅读全文
摘要：本博文的主要内容有 .storm单机模式，打包，放到storm集群 .Storm的并发机制图 .Storm的相关概念 .附PPT 打包，放到storm集群去。我这里，是单机模式下的storm。 weekend110-storm -> Export -> JAR file -> 当然，这边，肯定是，准
阅读全文
摘要：本博文的主要内容有 .Storm的单机模式安装 .Storm的分布式安装（3节点） .No space left on device .storm工程的eclipse的java编写 http://storm.apache.org/ 分布式的一个计算系统，但是跟mr不一样，就是实时的，实时的跟Mr离线
阅读全文
摘要：错误的描述： 在kafka安装目录下，执行 $ bin/zookeeper-server-start.sh config/zookeeper.properties & Unrecognized VM option ‘UseCompressedOops’ Error: Clould not creat
阅读全文
摘要：（2015年1月31日） 课程目录 01-storm基本概念 02-storm编程规范及demo编写 03-storm的topology提交执行 04-kafka介绍 05-kafka集群部署及客户端编程 06-kafka消费者java客户端编程 07-kafka整合storm
阅读全文
摘要：在这里，非常感谢下面的著名大牛们，一路的帮助和学习，给予了我很大的动力！ 有了Hadoop，再次有了Spark，一次又一次，一晚又一晚的努力相伴！ HBase简介（很好的梳理资料） 1、 博客主页：http://jiajun.iteye.com/ 2、博客主页：http://www.cnblogs.
阅读全文
摘要：hbase shell下list命令出错。 [hadoop@djt002 hbase]$ hbase shell 2016-07-20 19:37:12,522 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecate
阅读全文
摘要：本博文的主要内容有 .HBase .特点 .HBase在Hadoop子系统中的位置 .HBase表结构 .row key ,即 rc .Column Family,即 cf .时间戳 .Table & Region .RegionServer概念 .HBase模型 .Client .Zookeepe
阅读全文
摘要：本博文主要的内容有 .Storm .Flume .Scribe .二次排序详解 .InputFormat的实际使用 .MapReduce迭代器的不同 .HBase编码格式的细节 .设置SingleColumnValueFilter时候注意的地方 .HBase中有两张特殊的Table，ROOT-和.M
阅读全文
摘要：本博文的主要内容有： .HBase的分布模式（3、5节点）安装 .HBase的分布模式（3、5节点）的启动 .HBase HA的分布式集群的安装 .HBase HA的分布式集群的启动 .HBase HA的切换 HBase HA分布式集群搭建———集群架构 HBase HA分布式集群搭建———安装步骤
阅读全文
摘要：本博文的主要内容有 .HBase的单机模式（1节点）安装 .HBase的单机模式（1节点）的启动 .HBase的伪分布模式（1节点）安装 .HBase的伪分布模式（1节点）的启动 .HBase的分布模式（3、5节点）安装 .HBase的分布模式（3、5节点）的启动 见博客： HBase HA的分布式
阅读全文
摘要：参考 《Hadoop大数据分析与挖掘实战》的在线电子书阅读 http://yuedu.baidu.com/ebook/d128cf8e33687e21ae45a935?pn=1&click_type=10010002 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的
阅读全文
摘要：本博文的主要内容有 .hbase读取数据过程 .HBase表结构 .附带PPT http://hbase.apache.org/ 读写的时候，就需要用hbase了，换句话说，就是读写的时候。需要数据库。 在哪些领域，需要数据库？ 只要做大量的数据存储，就需要用到数据库。 数据库比文件系统，提供了更好
阅读全文
摘要：本博文的主要内容如下： .hive的详细官方手册 .hive支持的数据类型 .Hive Shell .Hive工程所需依赖的jar包 .hive自定义函数 .分桶4 .附PPT hive的详细官方手册 http://hive.apache.org/ https://cwiki.apache.org/
阅读全文
摘要：本博文的主要内容有： .hive的常用语法 .内部表 .外部表 .内部表，被drop掉，会发生什么？ .外部表，被drop掉，会发生什么？ .内部表和外部表的，保存的路径在哪？ .用于创建一些临时表存储中间结果 .用于向临时表中追加中间结果数据 .分区表(分为，分区内部表和分区外部表) .hive的
阅读全文
摘要：前期工作 若需使用Navicat for MySQL，则需要先安装MySQL，在此就不叙述了。具体可见我的博客： mysql-5.7.11-winx64.zip 的下载、安装、配置和使用（windows里安装）图文详解 Navicat for MySQL的下载 参考： http://www.cnbl
阅读全文
摘要：本人，苦心多时，历经磨难和心血，与大家共同攻克问题难关！ 问题一: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unab
阅读全文
摘要：本博文的主要内容是： .复习HA相关 .MySQL数据库 .先在MySQL数据库中建立hive数据库 .hive的配置 以下是Apache Hadoop HA的总结。分为hdfs HA和yarn HA。 以上，是参考《Hadoop海量数据处理 技术详解与项目实战》 强烈建议，先看 Hive的JDBC
阅读全文
摘要：（2015年1月25日） 课程目录 01-复习ha相关 02-hive的元数据库mysql方式安装配置 03-hive的使用 04-hive的常用语法 05-hql语法及自定义函数 06-hbase表结构 07-hbase集群架构及表存储机制 08-hbase-shell 09-hbase的java
阅读全文
摘要：本博文的主要内容是： 1. Hive本质解析 2. Hive安装实战 3. 使用Hive操作搜索引擎数据实战 SparkSQL前身是Shark，Shark强烈依赖于Hive。Spark原来没有做SQL多维度数据查询工具，后来开发了Shark，Shark依赖于Hive的解释引擎，部分在Spark中运行
阅读全文
摘要：本博文的主要内容： 1、Hash Shuffle彻底解密 2、Shuffle Pluggable解密 3、Sorted Shuffle解密 4、Shuffle性能优化 一：到底什么是Shuffle？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚
阅读全文
摘要：本博文主要内容： 1、再次思考pipeline 2、窄依赖物理执行内幕 3、宽依赖物理执行内幕 4、Job提交流程 一：再次思考pipeline 即使采用pipeline的方式，函数f对依赖的RDD中的数据的操作也会有2种方式： 1：f(record), f作用于集合的每一条记录，每次只作用于一条记
阅读全文
摘要：本期内容： 1、RDD依赖关系的本质内幕 2、依赖关系下的数据流视图 3、经典的RDD依赖关系解析 4、RDD依赖关系源码内幕 1、RDD依赖关系的本质内幕 由于RDD是粗粒度的操作数据集，每个Transformation操作都会生成一个新的RDD，所以RDD之间就会形成类似流水线的前后依赖关系；在
阅读全文
摘要：本博文的主要内容如下: 1、通过案例观察Spark架构 2、手动绘制Spark内部架构 3、Spark Job的逻辑视图解析 4、Spark Job的物理视图解析 1、通过案例观察Spark架构 spark-shell中，默认情况下，没有任何的Job。 从Master角度讲： 1、管理CPU、MEM
阅读全文
摘要：本博文内容： 1、基础Top N算法实战 2、分组Top N算法实战 3、排序算法RangePartitioner内幕解密 1、基础Top N算法实战 Top N是排序，Take是直接拿出几个元素，没排序。 新建 从源码，来说话，take返回的是数组，不是RDD。而colletc需要的是RDD。 则
阅读全文
摘要：本博文的主要内容有 .MySQL Server 5.5系列的下载 .MySQL Server 5.5系列的安装 .MySQL Server 5.5系列的使用 .MySQL Server 5.5系列的卸载 注意啊！ 对于noinstall方式安装的MySQL，系统的参数配置、服务的启动和关闭都需要手工
阅读全文
摘要：错误问题的描述： ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: NO) ERROR 1045 (28000): Access denied for user 'ODBC'@'localho
阅读全文
摘要：本博文的主要内容有 .MySQL Workbench的下载 .MySQL Workbench的安装 .MySQL Workbench的使用 个人推荐，比较好的MySQL客户端工具 注意啊！ 对于noinstall方式安装的MySQL，系统的参数配置、服务的启动和关闭都需要手工在命令窗口中完成。 对于
阅读全文
摘要：关于啊，MySQL客户端，实在是太多了。本人也是正在摸索中。 MySQL Workbench phpMyAdmin SQLyog Navicat for MySQL MySQL Server MySQL Workbench 该工具由MySQL开发，是一个跨平台的可视化数据库设计工具。它是DBDesi
阅读全文
