Spark运行架构包括集群资源管理器(Cluster Manager)、运行作业任务的工作节点(Worker Node)、每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的执行进程(Executor)。其中,集群资源管理器可以是Spark自带的资源管理器,也可以是YARN或Mesos等资源管理框架。
hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表并提供类sql查询功能
ubuntu在个人工作站与服务器领域都表现的非常稳定优秀,工程师使用ubuntu做为个人开发电脑完全没有问题,功能齐全性能稳定,因为用户众多解决问题也比较容易。
Linux服务器命令行模式安装Matlab
Gunicorn是一个unix上被广泛使用的高性能的Python WSGI UNIX HTTP Server。
和大多数的web框架兼容,并具有实现简单,轻量级,高性能等特点。
uWSGI是一个Web服务器,它实现了WSGI协议、uwsgi、http等协议。
操作前先要添加一块硬盘
查看硬盘位置
sudo fdisk -l |
根据磁盘大小,我挂的是40g的,所以很明显是 /dev/sdb
查看有没有安装MySQL
dpkg -l | grep mysql |
安装MySQL,注意安装前先更新一下软件源以获得最新版本
sudo apt-get update #更新软件源 |
上述命令会安装以下包:
apparmor
mysql-client-5.7
mysql-common
mysql-server
mysql-server-5.7
mysql-server-core-5.7
因此无需再安装mysql-client等。安装过程会提示设置mysql root用户的密码,设置完成后等待自动安装即可。默认安装完成就启动了mysql
备份原来的源:
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
更换源:
sudo vim /etc/apt/sources.list
将里面文件内容全部替换成下面:
MathWorks公司每年会发布两个版本的MATLAB,一般在3月份发布A版,9月份左右发布B版。两个版本功能并无差异,但相对来说,B版更为稳定,因此个人推荐安装B版。目前最新的版本是MATLAB 2018b,下面给出详细的中文版下载与安装教程。
1 / 2