CentOS7.2离线安装CDH集群

Cloudera 版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于 Web 的用户界面,支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

一、概述
二、安装部署
1. 机器规划
2. 软件包下载
3. 基础环境部署
3.1 关闭防火墙,修改 hostname,修改 hosts
① 关闭防火墙
② 修改hostname
③ 修改 hosts(CHD机器配置,在3台机器上都需要配置)
④ 关闭 selinux( 3 台机器均要执行)
⑤ linux 系统 swappiness 参数在内存与交换分区之间优化
⑥ 禁用大内存页面
3.2 节点SSH免密互通
3.3 yum源更新
3.4 基础依赖包安装
3.5 NTP时间同步
4. 安装JAVA环境
5. 安装MariaDB
6. 创建CM所需数据库
三、安装CM5
1. 各节点所需安装包准备
2. 初始化 CM5 数据库
3. 启动 CM5
四、安装CDH

继续阅读

多SSH KEY切换部署同步代码

一般情况下,我们会单独生成一个ssh-key公钥用于备份数据,而不是和其他公钥混合使用,避免因为因为某些操作不安全,造成代码丢失。当然你也可以选择一个其他账户操作也是可以的,但如果选择其他账户了,也就没有这篇文章的存在了。还是回到多个私钥的问题上,默认情况下,RSA算法的 ssh 私钥文件名为 id_rsa,我们可以通过ssh-keygen生成 ssh key 的时候可以指定其名称。

当有多个SSH KEY存在的时候,如何指定某个ssh读取某个私钥呢?本文就提供一个解决方案。

继续阅读

shell多进程执行任务

管道就像水管,有流入才会有流出,水管数水流的通道,管道是数据的通道。管道分为无名管道和有名管道。

无名管道:常用的|就是管道,只不过是无名的,可以直接作为两个进程的数据通道,比如:cat file.txt | grep test

有名管道:mkfilo 可以创建一个管道文件,比如:mkfiflo testfifo

管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会阻塞,直到管道内进入数据,然后读出后才会终止这一操作,同理,写入管道的操作如果没有读取操作,这一个动作也会阻塞。

继续阅读

SSL生成证书

SSL证书通过在客户端浏览器和 Web 服务器之间建立一条SSL安全通道(Secure socketlayer(SSL),SSL安全协议主要用来提供对用户和服务器的认证;对传送的数据进行加密和隐藏;确保数据在传送中不被改变,即数据的完整性,现已成为该领域中全球化的标准。由于 SSL 技术已建立到所有主要的浏览器和WEB服务器程序中,因此,仅需安装服务器证书就可以激活该功能了)。即通过它可以激活 SSL 协议,实现数据信息在客户端和服务器之间的加密传输,可以防止数据信息的泄露。保证了双方传递信息的安全性,而且用户可以通过服务器证书验证他所访问的网站是否是真实可靠。

继续阅读

Fastdfs上传文件报错 recv package size -1!=10

使用 Fastdfs 作为文件存储系统,Java 客户端单个上传文件没什么问题,在并发300的时候就会出现异常,部分上传失败。

客户端是自己封装的 spring-boot-starter-fastdfs,引用的核心库是 happyfish100大神的 java 版客户端,该库的 github 地址是 https://github.com/happyfish100/fastdfs-client-java。SpringBoot 的版本是 2.0.3.RELEASE。

项目中引入编译好的 fastdfs-client-java jar lib。

继续阅读