volatile关键字
摘要：volatile：易变的，是说这变量可能会被意想不到地改变。 1.可见性 对于可见性，Java提供了volatile关键字来保证可见性。 当一个共享变量被volatile修饰时，它会保证修改的值会立即被更新到主存，当有其他线程需要读取时，它会去内存中读取新值。 而普通的共享变量不能保证可见性，因为普
阅读全文
posted @ 2017-10-31 12:51
10 2017 档案
线程的状态
摘要：线程的5种状态： http://blog.csdn.net/pange1991/article/details/53860651 http://www.cnblogs.com/xll1025/p/6415283.html join()方法详解： http://blog.csdn.net/studyv
阅读全文
posted @ 2017-10-31 12:39
java中的匿名内部类
摘要：一、使用匿名内部类内部类 匿名内部类由于没有名字，所以它的创建方式有点儿奇怪。创建格式如下： 在这里我们看到使用匿名内部类我们必须要继承一个父类或者实现一个接口，当然也仅能只继承一个父类或者实现一个接口。同时它也是没有class关键字，这是因为匿名内部类是直接使用new来生成一个对象的引用。当然这个
阅读全文
posted @ 2017-10-27 22:40
java高精度实数和小数
摘要：java 高精度实数和小数 Ⅰ基本函数： 1.valueOf(parament); 将参数转换为制定的类型 比如 int a=3; BigInteger b=BigInteger.valueOf(a); 则b=3; String s=”12345”; BigInteger c=BigInteger.
阅读全文
posted @ 2017-10-27 17:05
JS、JSP、ASP、CGI
摘要：1）JS是在客户端执行的，需要浏览器支持Javascript。JSP是在服务器端执行的，需要服务器上部署支持Servlet的服务器程序。JS代码是能够直接从服务器上download得到，对外是可见的，jsp(和翻译后的servlet)代码是对外不可见的。 2）JS与JavaScript相比：虽然Ja
阅读全文
posted @ 2017-10-26 15:24
论文结构要求
摘要：一个写得好的论文结构大致要有以下几个部分，前面那个也可参考这个结构及相关的关键点进行修改： 1、Abstract—— 对自己工作及其贡献的总结：a）阐述问题；b）说明自己的解决方案和结果。 2、Introduction——背景，以及文章的大纲：a）题X是重要的；b）前人的工作A、B曾经研究过这个问题
阅读全文
posted @ 2017-10-26 14:01
java中的标识符、关键字、保留字
摘要：Java中关键字（keyword）和保留字（reservedword） Keyword ：Java的关键字对java的编译器有特殊的意义，他们用来表示一种数据类型，或者表示程序的结构等。 Reserved word:保留字是为java预留的关键字，他们虽然现在没有作为关键字，但在以后的升级版本中有可
阅读全文
posted @ 2017-10-26 13:21
java IODemo
摘要：关键代码： RandomAccessFile file = new RandomAccessFile("temp.dat", "rw"); file.writeBoolean(true); file.writeInt(100); file.writeInt(12345); file.writeInt
阅读全文
posted @ 2017-10-26 12:47
Bagging和Boosting的区别
摘要：转：http://www.cnblogs.com/liuwu265/p/4690486.html Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Boots
阅读全文
posted @ 2017-10-26 11:07
spark
摘要：转：http://www.cnblogs.com/haozhengfei/p/039dfec24294b39a2035b915dc96ef4c.html Spark_总结一 1.Spark介绍 1.1什么是Spark? Apache Spark是一个开源的集群计算框架，使数据计算更快（高效运行，快速
阅读全文
posted @ 2017-10-25 19:58
MapReduce
摘要：转：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html 1，MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间
阅读全文
posted @ 2017-10-25 19:47
hadoop集群的三种运行模式
摘要：单机（本地）模式： 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个
阅读全文
posted @ 2017-10-25 19:41
大数据研发
摘要：大数据工程师（开发）面试题(附答案) MapReduce 1. 不指定语言，写一个WordCount的MapReduce 我：最近刚学了scala，并且就有scala版本的WordCount，刚好学以致用了一下： 补：至于java版本，虾皮博主的一篇文章讲解的非常细致： Hadoop集群（第6期）_
阅读全文
posted @ 2017-10-25 19:35
有20个数组，每个数组有500个元素，升序排列，现在在这20*500个数中找出排名前500的数。求时间复杂度？
摘要：有20个数组，每个数组有500个元素，升序排列，现在在这20*500个数中找出排名前500的数。求时间复杂度？ 注意：调堆的时间复杂度为logN， 建堆的时间复杂度是O(N)。 直接暴力求解，将20个数组合并，然后排序，取出500个数 使用归并。 对于排好序的 序列，我们要注意使用归并。 先将第1个
阅读全文
posted @ 2017-10-25 19:28
欧几里得距离、曼哈顿距离、切比雪夫距离
摘要：欧几里得距离-欧氏距离，也就是我们熟知的距离，可扩展至m维 2维：d=sqrt((x1-x2)2+(y1-y2)2) 3维：d=sqrt((x1-x2)2+(y1-y2)2+(z1-z2)2) m维：d=sqrt(∑(xi,1-xi,2)2) 曼哈顿距离-出租车距离，在一个横竖分布的网格上，两点之间
阅读全文
posted @ 2017-10-25 19:14
Java四种排序：冒泡，选择，插入，二分（折半插入）
摘要：四种排序：冒泡，选择，插入，二分（折半插入）
阅读全文
posted @ 2017-10-25 18:26
数据结构基础
摘要：存储结构分为： 1，随机存取，即可随意直接存取任意一个元素，通过下标直接存取出任何一个元素；通过地址直接访问任意一个空间 2，顺序存取，只能从前往后逐个访问。 3，索引存取，为某个关键字建立索引表，从表中取得地址。索引存取多用在数据管理过程中。 4，散列存取。 有1千万条重复的短信，以文本形式保存，
阅读全文
posted @ 2017-10-25 16:10
python处理中文
摘要：python 清洗中文文件 需要用到的两个链接： 1，unicode编码转换器 http://www.bangnishouji.com/tools/chtounicode.html 2，Python匹配中文的正则表达式 http://www.jb51.net/article/83975.htm 测试
阅读全文
posted @ 2017-10-25 00:31
sql优化
摘要：其他：http://www.cnblogs.com/ShaYeBlog/archive/2013/07/31/3227176.html 执行数据库查询时，如果要查询的数据有很多，假如上千万条，用什么办法可以提高查询效率？ 1，在数据库设计方面 （1）建立索引 （2）建立分区（mysql,比如按时间分
阅读全文
posted @ 2017-10-24 12:48
sql事务机制
摘要：mysql事物处理实例 MYSQL的事务处理主要有两种方法1.用begin/start,rollback,commit来实现 begin/start开始一个事务 eg:begin transaction /start transaction rollback事务回滚 commit 事务确认2.直接用
阅读全文
posted @ 2017-10-24 11:29
存储过程
摘要：存储过程非常类似于Java语言的方法，它可以重复调用。当存储过程执行一次后，可以将语句缓存，这样下次执行的时候直接使用存储中的语句。 概念： 存储过程程序是一组为了完成特定功能的sql语句集合，经编译后存储在数据库中，用户通过指定存储过程的名称并给出参数来执行。 存储过程可以包含逻辑控制语句（if-
阅读全文
posted @ 2017-10-24 11:16
java中的抽象类和接口
摘要：抽象类： 抽象方法必须用abstract关键字进行修饰 抽象类和普通类的主要有三点区别： 1）抽象方法必须为public或者protected（因为如果为private，则不能被子类继承，子类便无法实现该方法），缺省情况下默认为public。 2）抽象类不能用来创建对象； 3）如果一个类继承于一个抽
阅读全文
posted @ 2017-10-23 22:47
java url
摘要：Java URL处理 URL（Uniform Resource Locator）中文名为统一资源定位符，有时也被俗称为网页地址。表示为互联网上的资源，如网页或者FTP地址。 本章节我们将介绍Java是如处理URL的。URL可以分为如下几个部分。 protocol(协议)可以是 HTTP、HTTPS、
阅读全文
posted @ 2017-10-23 14:29
java中的实例化
摘要：java中的new用于实例化一个对象 区别： new是java里面的关键字，一般用于创建一个新的对象。 T1 a=new T1():表示创建一个新的T1对象 T2 b=new T1():这种多用在接口类与实现类之间 或者子类与父类之间 在接口类与实现类之间： T2为接口类，T1为T2的实现类 例如：
阅读全文
posted @ 2017-10-23 12:29
java面向对象
摘要：1，嵌套类（内部类）nested class(inner class) java内部类与c++嵌套类最大的不同就在于是否有指向外部的引用。 创建一个static内部类的对象，不需要一个外部类对象，不能从一个static内部类的一个对象访问一个外部类对象。 内部类或嵌套类在类层级上没有限制，内部类可以
阅读全文
posted @ 2017-10-23 12:18
java中创建对象的几种方式
摘要：1，用new语句创建对象，这是最常见的创建对象的方法。 2，运用反射手段，调用java.lang.Class或者java.lang.reflect.Constructor类的newInstance()实例方法 3，调用对象的clone()方法 4，运用反序列化手段，调用java.io.ObjectI
阅读全文
posted @ 2017-10-23 10:51
java中的类、对象、方法
摘要：类=一个种类（class）东西 类=一个种类（class）东西 对象=属于该种类的一个对象/物件（object，台湾翻译为‘物件’）方法=对这个种类的东西都可以进行的操作 比如我有一辆汽车-类 public class car {...} 我将这辆汽车起名为”火焰“。-对象 car myCar =
阅读全文
posted @ 2017-10-23 10:29
七大查找性能分析
摘要：转:http://www.cnblogs.com/maybe2030/p/4715035.html?utm_source=tuicool&utm_medium=referral http://blog.jobbole.com/99507/ 阅读目录 1. 顺序查找 2. 二分查找 3. 插值查找 4
阅读全文
posted @ 2017-10-21 23:29
java浅拷贝和深拷贝
摘要：转：http://blog.csdn.net/u014727260/article/details/55003402 实现clone的2点： 1，clone方法是Object类的一个方法，所以任何一个类都会自动拥有该方法 2，并不是所有的类可以调用clone方法，因为javac需要程序员显示的声明，
阅读全文
posted @ 2017-10-21 22:59
Java内存管理
摘要：1，垃圾收集和内存管理 GC即垃圾收集机制，是指JVM用于释放那些不再使用的对象所占的内存。 特点如下：1，垃圾收集的时间是未知的。2，java中提供了一个强行执行垃圾收集的方法-system.gc(). 3,一般采用默认的垃圾收集器，实时性要求比较高的系统采用增量收集器。系统具有较高的配置，有比较
阅读全文
posted @ 2017-10-20 23:15
java中线程和并发面试题
摘要：http://www.cnblogs.com/dolphin0520/p/3932934.html http://www.cnblogs.com/dolphin0520/p/3958019.html http://ifeve.com/java-concurrency-thread-directory
阅读全文
posted @ 2017-10-20 12:43
传递和引用
摘要：1，传值和传引用 对于基本类型，传递的是自身的副本 对于对象类型而言，传递的是指向自己的地址的副本 （通过引用副本找到地址并修改地址中的值）钥匙和仓库。 基本类型，传值的副本；对象类型，传引用的副本 2，静态变量和私有变量 （2）静态变量、静态方法和静态块 通常情况下，类成员必须通过它的类的对象访问
阅读全文
posted @ 2017-10-19 22:27
Java中BufferedReader和scanner
摘要：Scanner 和BufferedReader同样能实现将键盘输入的数据送入程序， import java.io.*;import java.util.Scanner;public class C {public static void main(String []args) throws IOEx
阅读全文
posted @ 2017-10-19 22:01
java程序设计基本概念 jvm
摘要：JVM (1)对于字符串：其对象的引用都是存储在栈中的，如果是编译期已经创建好(直接用双引号定义的)的就存储在常量池中，如果是运行期（new出来的）才能确定的就存储在堆中。对于equals相等的字符串，在常量池中永远只有一份，在堆中有多份。 例如： 1 String s1 = "china"; 2
阅读全文
posted @ 2017-10-19 19:45
java中的异常处理机制
摘要：转自：http://blog.csdn.net/hguisu/article/details/6155636 1. 引子 转自：http://blog.csdn.net/hguisu/article/details/6155636 1. 引子 try…catch…finally恐怕是大家再熟悉不过的
阅读全文
posted @ 2017-10-19 15:52
java获取变量的类型
摘要：java中获取变量的类型可以使用每个类型的getClass()方法来获得，示例如下： 1 2 3 4 5 6 7 8 9 10 11 class Test { public static void main(String[] args) { int i=1; //int类型变量 System.out
阅读全文
posted @ 2017-10-19 14:40
BeautifulSoup基本步骤
摘要：http://blog.csdn.net/kikaylee/article/details/56841789 ’BeautifulSoup是Python的一个库，最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理，全部页面转变为字典或者数组，相对于正则表
阅读全文
posted @ 2017-10-17 11:06
事实表与维度表 码表
摘要：简单的说维度表就是你观察该事物的角度（维度)；事实表就是你要关注的内容。比如要分析产品销售情况, 你可以选择按产品类别来进行分析,或按时间来分析，这样的按..分析就构成一个维度。这样就有两个维度：产品类别和时间。下面是两个维度表结构：产品维度表：Prod_id, Product_Name, Cate
阅读全文
posted @ 2017-10-17 10:44
秒杀项目
摘要：高并发的优化： http://blog.csdn.net/qq_33290787/article/details/51899042 业务分析与DAO层 第1章：课程介绍 1.1 秒杀API之业务分析 秒杀\红包类需求越来越常见； 1.2 项目效果演示 第2章：相关技术及搭建工程 2.1 相关技术 M
阅读全文
posted @ 2017-10-14 10:31
Java基础方面
摘要：Java基础方面: 19、接口是否可继承接口? 抽象类是否可实现(implements)接口? 抽象类是否可继承实体类(concrete class)答：接口可以继承接口。抽象类可以实现(implements)接口，抽象类是否可继承实体类，但前提是实体类必须有明确的构造函数20、构造器Constru
阅读全文
posted @ 2017-10-14 09:15
spark
摘要：Spark是UC Berkeley AMP lab开发的一个集群计算的框架，类似于Hadoop，但有很多的区别。最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代的MapReduce算法场景中，可以获得更好的性能提升。例如一次排序测试中，对100TB数据进行
阅读全文
posted @ 2017-10-13 23:00
IOC和AOP
摘要：IoC，（Inverse of Control）控制反转，其包含两个内容：其一是控制，其二是反转。在程序中，被调用类的选择控制权从调用它的类中移除，转交给第三方裁决。这个第三方指的就是Spring的容器。IoC另解，依赖注入（Dependency Injection），调用类对被调用类的依赖关系由第
阅读全文
posted @ 2017-10-13 22:44
三种范式的区别
摘要：1NF:若果关系模式R的所有属性的值域中每一个值都是不可分解的值 2NF:满足1NF,且R中每一个非主属性完全依赖于R中的某个候选键。 例：成绩表（学号，课程号，成绩）关系中， 完全函数依赖：（学号，课程号）→ 成绩，学号 －\→ 成绩，课程号 －\→ 成绩，所以（学号，课程号）→ 成绩 是完全函数
阅读全文
posted @ 2017-10-13 21:05
数据库和数据仓库的区别
摘要：最后总结一下： 数据库 比较流行的有：MySQL, Oracle, SqlServer等数据仓库 比较流行的有：AWS Redshift, Greenplum, Hive等 把数据从业务性的数据库中提取、加工、导入分析性的数据库就是传统的 ETL 工作 ETL（数据仓库技术） ETL是构建数据仓库的
阅读全文
posted @ 2017-10-13 20:52
where /group by/ having/ order by/
摘要：1.order by 是 按字段 进行排序.. 字段后面可跟 desc 降序..asc 升序..默认为升序2.group by 是进行分组 查询3.having 和 where 都属于 条件过滤 区别在于 一般having是和 group by 连用... 目的是 分组后进行的条件查询...而如果在
阅读全文
posted @ 2017-10-12 10:45
sql笔试练习
摘要：转：http://www.360doc.com/content/16/0919/17/14804661_592046675.shtml 本文是在Cat Qi的参考原帖的基础之上经本人一题一题练习后编辑而成，非原创，仅润色而已。另外，本文所列题目的解法并非只有一种，本文只是给出比较普通的一种而已，也希
阅读全文
posted @ 2017-10-12 10:23
sql左外连接、右外连接、group by、distinct（区别）、intersect（交叉）、通配符、having
摘要：连接条件可在FROM或WHERE子句中指定，建议在FROM子句中指定连接条件。WHERE和HAVING子句也可以包含搜索条件，以进一步筛选连接条件所选的行。 连接可分为以下几类： 内连接。（典型的连接运算，使用像 = 或 <> 之类的比较运算符）。包括相等连接和自然连接。 内连接使用比较运算符根据每
阅读全文
posted @ 2017-10-12 10:05
nvarchar,varchar 区别
摘要：char char是定长的，也就是当你输入的字符小于你指定的数目时，char(8)，你输入的字符小于8时，它会再后面补空值。当你输入的字符大于指定的数时，它会截取超出的字符。 nvarchar(n) 包含 n 个字符的可变长度 Unicode 字符数据。n 的值必须介于 1 与 4,000 之间。字
阅读全文
posted @ 2017-10-11 23:58
链家笔试链家——找寻最小消费获取最大平均分java
摘要：链家找寻最小消费获取最大平均分 输入： 5 5 4#表示科目数n，每科最大分值r，平均分avg 5 2#每科的实际得分，分数加1分的消耗的能量 4 7 3 1 3 2 2 5 输出： 4 #到达n*avg消耗的最小能量
阅读全文
posted @ 2017-10-10 21:24
python编程规范
摘要：Python风格规范 http://zh-google-styleguide.readthedocs.io/en/latest/google-python-styleguide/python_style_rules/ Python语言规范 http://zh-google-styleguide.re
阅读全文
posted @ 2017-10-10 16:17
Java编程模板
摘要：// hasNext检查序列中是否还有元素,用于循环输入，hasNext()是Scanner类的一个方法，判断是否有输入，有输入项，a .hasNext()为true，没有输入项，a .hasNext()为false。 while(s.hasNext()){
阅读全文
posted @ 2017-10-10 16:12
随机分配主题
摘要：# 随机给词汇分配一个主题 # 单词i属于第k个主题的个数加1，所以 # 文章m属于主题k的词汇的个数也加1，因为词汇i来自文章m # 因此每个主题下词汇个数也加1 代码实现： # z= [list([0, 1, 1, 2, 0]) list([2, 0, 2, 1]) list([2, 1, 2,
阅读全文
posted @ 2017-10-09 21:50
文件读取ndarry 等价于DataFrame的操作
摘要：输出： <class 'numpy.ndarray'><class 'pandas.core.frame.DataFrame'><class 'pandas.core.frame.DataFrame'> userRatingMat=pd.read_csv('./data/userRatingTabl
阅读全文
posted @ 2017-10-07 14:33
DataFrame按行读取：DataFrame之values
摘要：http://blog.csdn.net/u014607457/article/details/51290582 pandas是python环境下最有名的数据统计包，而DataFrame翻译为数据框，是一种数据组织方式，这么说你可能无法从感性上认识它，举个例子，你大概用过Excel，而它也是一种数据
阅读全文
posted @ 2017-10-05 23:39
LdA笔记
摘要：LDA算法最初的论文使用的是变分EM方法训练（Variational Inference）。该方法较为复杂，而且最后训练出的topic主题非全局最优分布，而是局部最优分布。后期发明了Collapsed Gibbs Sample方法，推导和使用较为简洁。 Latent Dirichlet Alloca
阅读全文
posted @ 2017-10-01 21:18
python知识
摘要：在python中的random.randint(a,b)用于生成一个指定范围内的整数。其中参数a是下限，参数b是上限，生成的随机数n: a <= n <= b。 以u或U开头的字符串表示unicode字符串 Unicode是书写国际文本的标准方法。如果你想要用非英语写文本,那么你需要有一个支持Uni
阅读全文
posted @ 2017-10-01 21:12
OrderedDict
摘要：OrderedDict，实现了对字典对象中元素的排序 dd = {'banana': 3, 'apple':4, 'pear': 1, 'orange': 2}#按key排序kd = collections.OrderedDict(sorted(dd.items(), key=lambda t: t
阅读全文
posted @ 2017-10-01 17:53
os.path等os模块函数
摘要：os.path.abspath(path) #返回绝对路径 os.path.basename(path) #返回文件名 os.path.commonprefix(list) #返回list(多个路径)中，所有path共有的最长的路径。 os.path.dirname(path) #返回文件路径 os
阅读全文
posted @ 2017-10-01 17:27
