Linux下不同组件运行命令

Spark优化配置

  1. 添加外包路径
    1.1 vim $SPARK_HOME/conf/spark-defaults.conf

    spark.executor.extraClassPath    file:///opt/bigdata/spark/jars/*
    spark.driver.extraClassPath      file:///opt/bigdata/spark/jars/*
    

    1.2 spark-submit时配置参数

     spark-submit \
      --conf spark.executor.extraClassPath=/opt/bigdata/spark/jars/* \
      --conf spark.driver.extraClassPath=/opt/bigdata/spark/jars/* \
    
  2. spark-submit时的参数配置

    spark-submit \
    --master spark://120.77.95.81:7077 \
    --driver-memory 1g \
    --executor-memory 800M \
    --num-executors 1 \
    --executor-cores 1 \
    --total-executor-cores 1 \
    --class com.xx.test
    

Kafka+Scala的参数配置

  1. auto.offset.reset值含义解释
    earliest
    当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
    latest
    当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
    none
    topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常

  2. spark.streaming.kafka.maxRatePerPartition

每分区每秒拉取数据量

val sparkConf = new SparkConf().setAppName("TIA_ACCESS_LOG_KAFKA")
   .set("spark.streaming.kafka.maxRatePerPartition", cntPut)
   .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

Java脚本配置

  1. 内存配置
    -Xms800m -Xmx800m -XX:PermSize=256m -XX:MaxPermSize=512m -XX:MaxNewSize=512m

  2. 外部包配置
    -Djava.ext.dirs=/opt/bigdata/spark/jars/

  3. 指定main类
    -cp QunkePro.jar com.xng.qunkepro.mongotohbase.userinfo.UserInfo

  4. 将脚本绑定在某一个CPU上
    taskset -c 0 java -Xms1024m -Xmx1024m -XX:MaxNewSize=512m -cp Test.jar com.xx.test

Mongo命令

  1. 使用config文件启动
    mongod --port 27010 --config /etc/mongodb_xng.conf --replSet rs 1>/dev/null 2>&1 &

Kafka命令

  1. 后台启动kafka-server
    nohup kafka-server-start.sh /opt/bigdata/kafka/config/server.properties 1>/dev/null 2>&1 &
  2. 查看kafka的所有topic
    kafka-topics.sh --list --zookeeper dev01:2181,dev02:2181,dev03:2181
  3. 删除kafka的topic
    kafka-topics.sh --delete --zookeeper dev01:2181,dev02:2181,dev03:2181 --topic test
  4. 创建topic
    kafka-topics.sh --create --zookeeper dev01:2181,dev02:2181,dev03:2181 --replication-factor 2 --partitions 3 --topic testjmx
  5. 开启console-producer
    kafka-console-producer.sh --broker-list dev01:9092,dev02:9092,dev03:9092 --topic testjmx
  6. 开启console-consumer
    kafka-console-consumer.sh --bootstrap-server dev01:9092,dev02:9092,dev03:9092 --from-beginning --topic testjmx
posted @ 2018-11-28 18:04  枫子_dan  阅读(196)  评论(0编辑  收藏  举报