曹明 - 博客园

2017年12月29日

摘要：项目经理、系统架构师或技术骨干应该具备的知识一直想写一篇这样的总结性文章，但不是没有时间就是没有勇气写下去，因为怕别人丢臭鸡蛋。这两天有时间，终于鼓起勇气，将这篇文章写来下！也希望对一些正在寻找更好发展的朋友能有点帮助，也希望对于一些技术跟管理方面的牛人，能给予一些建议。作为一名项目经理、系统架阅读全文

posted @ 2017-12-29 20:33 曹明阅读(397) 评论(0) 推荐(0) 编辑

2017年12月25日

【数据挖掘】数据挖掘工程师是做什么的？

摘要：【数据挖掘】数据挖掘工程师是做什么的？ 2016-08-10 17:16 【数据挖掘】数据挖掘工程师是做什么的？ 2016-08-10 17:16 数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣阅读全文

posted @ 2017-12-25 12:59 曹明阅读(717) 评论(0) 推荐(0) 编辑

2017年12月23日

Java学习

摘要： Java学习 Java学习标签： java 2016-11-12 08:36 1021人阅读评论(3) 收藏举报标签： java 2016-11-12 08:36 1021人阅读评论(3) 收藏举报分类： Java开发（37）分类： Java开发（37） Java工程师成神之路一，基阅读全文

posted @ 2017-12-23 19:21 曹明阅读(232) 评论(0) 推荐(0) 编辑

2017年12月18日

shuffle的过程分析

摘要： shuffle的过程分析 shuffle阶段其实就是之前《MapReduce的原理及执行过程》中的步骤2.1。多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。 Map端： 1、在map端首先接触的是InputSplit，在InputSplit中含有DataNode中阅读全文

posted @ 2017-12-18 09:22 曹明阅读(441) 评论(0) 推荐(0) 编辑

2017年12月17日

Hadoop 原理总结

摘要： Hadoop 原理总结一、Hadoop技术原理 Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager 常用命令： 1）用hadoop fs 操作hdfs网盘,使用Uri的格式访问（URI格式：secheme://author 阅读全文

posted @ 2017-12-17 18:39 曹明阅读(18370) 评论(0) 推荐(2) 编辑

很全的 Python 面试题

摘要：很全的 Python 面试题很全的 Python 面试题 Python语言特性 1 Python的函数参数传递看两个例子: Python 1 2 3 4 5 a = 1 def fun(a): a = 2 fun(a) print a # 1 Python 1 2 3 4 5 a = [] de 阅读全文

posted @ 2017-12-17 16:57 曹明阅读(349) 评论(0) 推荐(0) 编辑

python考点

摘要： Python考点 1.Python类继承，内存管理（阿里）答：内存管理机制包括：引用计数机制，垃圾回收机制，内存池机制 a = 1，1就是对象，a就是引用，引用a指向对象1。 2.Python装饰器，适配器。装饰器是一种特殊的函数，要么接受函数作为输入参数，并返回一个函数，要么接受一个类作为输入阅读全文

posted @ 2017-12-17 16:50 曹明阅读(436) 评论(0) 推荐(0) 编辑

Java 多线程并发编程一览笔录

摘要： Java 多线程并发编程一览笔录 Java 多线程并发编程一览笔录知识体系图： 1、线程是什么？线程是进程中独立运行的子任务。 2、创建线程的方式方式一：将类声明为 Thread 的子类。该子类应重写 Thread 类的 run 方法方式二：声明实现 Runnable 接口的类。该类然后实现阅读全文

posted @ 2017-12-17 15:40 曹明阅读(220) 评论(0) 推荐(0) 编辑

hadoop进阶

摘要： Java 多线程安全机制 1、操作系统有两个容易混淆的概念，进程和线程。进程：一个计算机程序的运行实例，包含了需要执行的指令；有自己的独立地址空间，包含程序内容和数据；不同进程的地址空间是互相隔离的；进程拥有各种资源和状态信息，包括打开的文件、子进程和信号处理。线程：表示程序的执行流程，是CPU 阅读全文

posted @ 2017-12-17 15:33 曹明阅读(529) 评论(0) 推荐(0) 编辑

2017年12月16日

Quorum机制与NRW算法总结

摘要： Quorum机制与NRW算法总结 1.Quorum机制 Quorum，原指为了处理事务、拥有做出决定的权力而必须出席的众议员或参议员的数量（一般指半数以上）。 2.NRW算法 NRW算法是基于Quorum机制的是一种CP(Consistency&Partion tolerance)算法。用于在数据一阅读全文

posted @ 2017-12-16 16:34 曹明阅读(853) 评论(0) 推荐(0) 编辑