摘要:
hdfs上的文件的最小存储单位是块(block),一个块的大小可以指定,一般默认块的大小为64MB或128MB。文件块的数量影响了spark读取hdfs文件生成的RDD的partition数量。另外hdfs上文件是有多份拷贝的(具体几份可以配置)。若一个Da... 阅读全文
摘要:
YARN(Yet Another Resource Negotiator)是hadoop2.0提供的新功能,它是一个集群资源调度管理的软件,其产生是为了更好的管理集群资源,突破hadoop1.0集群管理方式的缺陷。先看原来方式的缺陷hadoop最初采取的集群... 阅读全文
摘要:
spark读取hdfs上面的文件:var textIn = sc.textFile("hdfs://localhost:9000/user/root/text.in")保存文件到hdsf上:textIn.map((_, 2)).saveAsTextFile(... 阅读全文
摘要:
查看topicbin/kafka-topics.sh \--zookeeper emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/kafka-1.0.1 \--list查看kafka的topic详细信... 阅读全文
摘要:
下载kafka_2.11-1.1.0.tgz,tar -zxf解压并进入解压目录,没有配置环境变量。kafka运行依赖zookeeper,启动zookeeper服务和kafka服务(默认单机模式,由配置文件决定):bin/zookeeper-server-s... 阅读全文
摘要:
使用事务可以让一系列操作要不全部成功执行,要么全部不执行:db.beginTransaction(); //开启事务try{ db.execSQL("delete from book where id=?", new String[]{"3"}); ... 阅读全文
摘要:
数据库SQLitepublic class MySQLite extends SQLiteOpenHelper { private final String create_book = "create table book " + "(id integ... 阅读全文
摘要:
读写普通文本文件:public class MainActivity extends Activity { EditText edit; @Override protected void onCreate(Bundle savedInsta... 阅读全文
摘要:
接收器需要继承BroadcastReseiver类,收到相应广播会执行其onReceive方法:public class MyBroadcastReceiver extends BroadcastReceiver { @Override public voi... 阅读全文
摘要:
使用LayoutInflater类的inflate函数,将第一个参数的布局加载到第二个参数的布局上。第一个参数是个int对应一个布局文件,第二个参数是个View对象实例。getMenuInflater().inflate(R.menu.main, layou... 阅读全文