A0-01.本地集群环境介绍_北极冰熊

Hadoop集群搭建

一、集群基础信息

1. 集群数量：3台

2. MyNode01

   • 系统：Centos7.6

   • 内存：16GB

   • 硬盘：1T

3. MyNode02

   • 系统：Centos7.6

   • 内存：12GB

   • 硬盘：500GB

4. MyNode03

   • 系统：Centos7.6

   • 内存：12GB

   • 硬盘：500GB

二、软件包版本

1. 系统

   • CentOS-7-x86_64-DVD-1810.iso

2. CDH框架版本：5.14.2

3. Hadoop

   • hadoop-2.6.0-cdh5.14.2.tar.gz

   • jdk-8u141-linux-x64.tar.gz

   • zookeeper-3.4.5-cdh5.14.2.tar.gz

4. Hive

   • hive-1.1.0-cdh5.14.2.tar.gz

   • mysql-connector-java-5.1.38.jar

5. Hbase

   • hbase-1.2.0-cdh5.14.2.tar.gz

   • apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz

6. Flume

   • flume-ng-1.6.0-cdh5.14.2.tar.gz

7. Sqoop

   • sqoop-1.4.6-cdh5.14.2.tar.gz

   • java-json.jar

   • mysql-connector-java-5.1.38.jar

8. Impala

9. Spark

   • scala-2.11.8.zip

   • spark-2.3.3-bin-hadoop2.7.tgz

10. Kafka

    • kafka_2.11-1.0.1.tgz

    • kafka-eagle-bin-1.2.3.tar.gz

11. Flink

    • Flink-1.8.1-src.tgz

三、开发环境

1. 操作系统：MacOS

2. 开发工具：IDEA 2019

3. 辅助工具：FinalShell 3.9

四、备注

• 白熊搞了三台二手笔记本，然后将笔记本统一刷成Centos7.6的系统（原因：虚拟机不太好用）。集群总内存40GB，总硬盘容量2T。后期不够用的话，白熊再去搞几台～～

• 需要具体刷机步骤的鞋童，可以在留言区留言，人数超过了50人，白熊就会写一篇文章详细的介绍刷机过程。（若需要了解详细的集群搭建过程，同样也可以留言～）

• 白熊后面的大数据案例都会基于上面的集群环境进行实操。

• 文章命名解释，列：A0-01.XXX

  • 文章类别：A-Z

  • 文章等级：0-10 （低-高）

  • 文章名称：01.XXX