Spark运行架构包括集群资源管理器(Cluster Manager)、运行作业任务的工作节点(Worker Node)、每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的执行进程(Executor)。其中,集群资源管理器可以是Spark自带的资源管理器,也可以是YARN或Mesos等资源管理框架。
Scala的安装
因为Spark本身是以Scala开发的,所以必须先安装Scala. 2.4.x的spark ->选择2.12.x的scala
Spark运行架构包括集群资源管理器(Cluster Manager)、运行作业任务的工作节点(Worker Node)、每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的执行进程(Executor)。其中,集群资源管理器可以是Spark自带的资源管理器,也可以是YARN或Mesos等资源管理框架。
因为Spark本身是以Scala开发的,所以必须先安装Scala. 2.4.x的spark ->选择2.12.x的scala
博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议
本文永久链接是:http://norhub.com.cn/2020/07/21/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8Ubuntu18%E5%AE%89%E8%A3%85Spark/
评论