Spark环境搭建+编译部署+IDEA开发

2018/3/7 9:55:02 人评论 次浏览 分类:大数据

一、准备工作:

CentOS镜像:http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso

二、用VMware搭建虚拟机集群

1.规划

master:1核、4G内存

slave1:1核、2G内存

slave2:1核、2G内存

2.搭建一个样板虚拟机

接下来进入安装,期间需设置语言、密码。

     

选择语言,我这里选择英文,您也可以下拉选择中文

等待数秒。。。

选择软件安装(重要)

这里给出中文翻译,参考选择

等待数秒,设置安装位置

点击一下就行

点进去自行设置密码、用户

完成,重启

然后

网络进去后在配置

————————————

3登录进入CentOS,进行相关配置

设置ip地址

注意:这里的ip,子网掩码,网关,DNS是根据我的笔记本电脑上的网络情况设定的,请您根据您的实际情况设置

这是我windows笔记本网络

设置主机名

a.打开终端,以root登录

[root@localhost spark]# vi /etc/sysconfig/network

       添加或修改:

          NETWORKING=yes

          HOSTNAME=slave3

b.

 

 

[root@localhost spark]# vi /etc/hosts

       添加:

192.168.1.191 master

192.168.1.192 slave1
192.168.1.193 slave2

(slave1、2 见下文)

关闭防火墙和SELinux(Hadoop和Spark运行时需要通过端口通信,关闭其就不会受到阻拦)

查看系统

[root@localhost spark]# rpm -q centos-release
centos-release-7-4.1708.el7.centos.x86_64

CentOS 7 查看防火墙状态

[root@localhost spark]# firewall-cmd --state
running

关闭并禁止开机启动防火墙

[root@localhost spark]# systemctl stop firewalld.service
[root@localhost spark]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost spark]# firewall-cmd --state
not running

关闭SELinux

[root@localhost spark]# vi /etc/selinux/config

       修改:SELINUX=disabled

重启

————————

更新OpenSSL(防止编译过程无法通过ssh连接节点)

[root@localhost spark]# yum update openssl

更改OpenSSL配置(确认使用RSA算法)

[root@localhost spark]# vi /etc/ssh/sshd_config

设置以下三项:

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

 重启ssh

[root@localhost spark]# service sshd restart

下载安装scala

未完待续。。。

 

相关知识

  • SparkStreaming与Kafka整合遇到的问题及解决方案

    前言 最近工作中是做日志分析的平台,采用了sparkstreaming+kafka,采用kafka主要是看中了它对大数据量处理的高性能,处理日志类应用再好不过了,采用了sparkstreaming的流处理框架 主要是考虑到它本身是基于spark核心的,以后的批处理可以一站式服务,并且可以提供准实时服…

    2017/7/20 11:45:03
  • spark极简入门

    1.windows上下载安装sbt 去sbt官网下载 sbt包,解压到指定目录,不需要安装。记得配置环境变量。 新建 SBT_HOME ,值是sbt包的解压路径,比如C:\Users\***\Tools\sbt-0.13.15\sbt(建议不要放在C盘) 并在path 中添加 %SBT_HOME%\bin 查看是否成功,命令行输入: sbt sbtVer…

    2017/7/20 11:45:03
  • Redis精华

    Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的,也就是说无论你的持久化策略选择的是什么,只要用到了redis的复制功能,就一定会有内存快照发生,那么首先要注意你的系统内存容量规划,原因可以参考我上一篇文章中提到的Redis磁盘IO问题。R…

    2017/7/20 11:45:03
  • 快速搭建 ELK + OpenWAF 环境

    摘要: OpenWAF是第一个全方位开源的Web应用防护系统; ELK 是比较火的开源日志分析系统; 本节主要介绍,ELK 的 docker 部署及与 OpenWAF 的结合 OpenWAF简介 OpenWAF是第一个全方位开源的Web应用防护系统(WAF),他基于nginx_lua API分析HTTP请求信息。OpenWAF由行为分析引擎…

    2017/7/20 11:45:03

共有访客发表了评论 网友评论

验证码: 看不清楚?