本文共 1436 字，大约阅读时间需要 4 分钟。
1.降低数据处理时间
spark streaming的任务最终会转换成RDD的计算，因此降低处理时间可以采用spark core优化的方法，这里不赘述。2.调整receiver并行度
spark streaming应用中默认只启动一个receiver，当数据流量很大时可能出现单个receiver处理能力瓶颈的问题，因此可以启动多个receiver来并行处理。下面以socketTextStream为例。val line1 = ssc.socketTextStream("192.168.61.136", 9998)val line2 = ssc.socketTextStream("192.168.61.136", 9999)// line 为line1和line2合并后的Dstreamval lines = line1.union(line2) 2.调整block的产生周期
receiver接收的数据会定期生成一个Block，这个参数由spark.streaming.blockInterval控制，默认是200ms。一般生产建议不要低于50ms。3.调整接收数据的速率
spark.streaming.receiver.maxRate用于控制receiver接收数据的速率，默认是Long.Maxvalue。建议根据实际情况进行配置，防止batch processing time大于batchinterval。4.调整Dstream分区数
Dstream的分区数决定了执行的并行度，因此可以根据实际情况调整Dstream的分区数。// 调整分区数为4inputStream.repartition(4)
5.使用kryo序列化
kryo是一个高性能的序列化/反序列化工具，由于使用变长存储与字节码生成技术，它的性能比java原生方式会高出很多。val conf = new SparkConfconf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer")// 注册要序列化的类，Test1和Test2为类名conf.registerKryoClasses(Array(classOf[Test1], classOf[Test2])) 7.foreachRDD 算子调优
foreachRDD算子可以灵活的自定义输出，内部建议使用foreachPartition。dstream.foreachRDD { rdd => rdd.foreachPartition { partitionOfRecords => // 自定义输出 }} 8.反压机制
为了适应数据流量的动态变化，引入了反压机制。它会根据jobScheduler反馈作业的执行信息来动态调整receiver数据接收速率(spark.streaming.receiver.maxRate)。通过参数 spark.streaming.backpressure.enable控制是否启动反压机制。默认为false，不启动。9.资源动态分配
spark 支持资源动态分配，当executor不够时分配多余的executor，executor空闲时回收。 通过参数spark.streaming.dynamicAllocation.enable控制是否开启资源动态分配。转载地址：http://mrcmb.baihongyu.com/