Spark集群搭建与测试 - 图文

b. Spark-shell集群模式：

通过webUI的方式查看系统信息：http://master:4040 Environment信息：

Executors信息：

16. 通过spark-shell测试SPARK集群:

a. 将spark安装包下的README.md上传到hdfs:hdfsdfs -put README.md /data/

b. 通过hdfs的web控制台查看可见上传成功：

c. 在spark-shell中对上传的文件进行操作： 读取文件：val file=sc.textFile(\

对读取的文件进行count操作：val count = file.flatMap(line =>line.split(\(word,1)).reduceByKey(_+_)

用collect命令提交并执行Job:count.collect