博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark 2.4 standalone 部署
阅读量:6868 次
发布时间:2019-06-26

本文共 1522 字,大约阅读时间需要 5 分钟。

1 安装 Spark

使用如下命令下载 Spark,:

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

解压 tgz 包:

tar zxvf spark-2.4.0-bin-hadoop2.7.tgz

修改环境变量并声明:

vim ~/.bashrcexport SPARK_HOME=$HOME/spark-2.4.0-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinsource ~/.bashrc

打开配置文件:

cd $SPARK_HOME/confcp spark-env.sh.template spark-env.shvim spark-env.sh

添加变量:

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64export SCALA_HOME=/usr/java/scala-2.11.8export SPARK_HOME=/root/spark-2.4.0-bin-hadoop2.7export SPARK_MASTER_IP=** your ip **export SPARK_EXECUTOR_MEMORY=1G

2 部署 Standalone Spark

启动 spark

cd $SPARK_HOME./sbin/start-all.sh

检查是否启动成功(使用 spark 客户端):

./bin/spark-shell

输出以下表示成功:

2018-12-26 11:20:33 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicableSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).Spark context Web UI available at http://spark-2:4040Spark context available as 'sc' (master = local[*], app id = local-1545841253565).Spark session available as 'spark'.Welcome to      ____              __     / __/__  ___ _____/ /__    _\ \/ _ \/ _ `/ __/  '_/   /___/ .__/\_,_/_/ /_/\_\   version 2.4.0      /_/         Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_191)Type in expressions to have them evaluated.Type :help for more information.scala>

转载于:https://www.cnblogs.com/zhance/p/10182764.html

你可能感兴趣的文章
洛谷——P1630 求和
查看>>
(转)Android自动打包、签名、优化、上传ANT脚本
查看>>
sh语法入门学习
查看>>
POJ 1692 Crossed Matchings【DP】
查看>>
线上故障处理深入思考
查看>>
软件架构设计学习总结(19):详解分布式系统中的session同步问题
查看>>
批处理 编译C#工程
查看>>
bzoj3380[Usaco2004 Open]Cave Cows 1 洞穴里的牛之一*
查看>>
网站静态化处理—前后端分离—中(7)
查看>>
使用ViewState[""]传递Hashtable的值
查看>>
ios图层转场动画
查看>>
产品经理——BRD,MRD,PRD
查看>>
hdu3879 网络流(经典最大获利问题)
查看>>
理解mouseover,mouseout,mouseenter,mouseleave
查看>>
灵玖软件:NLPIR大数据语义智能为企业“画像”
查看>>
dtoj#4194. 「JOI 2019 Final」有趣的家庭菜园 3
查看>>
xv6-----CPU alarm
查看>>
HTML
查看>>
IT路况--贵有贵的理由
查看>>
CSS学习笔记04 CSS文字排版常用属性
查看>>