基于Hadoop平台的电信客服数据的处理与分析③项目开发：搭建基于Hadoop的全分布式集群---任务7：格式化并启动Hadoop集群

news/2024/7/7 20:44:10 标签: 分布式, hadoop, 大数据

任务描述

任务内容为格式化并启动Hadoop集群，并修复可能出现的Bug。

任务指导

Hadoop集群启动前需要在NameNode上格式化元数据，成功格式化后才能启动Hadoop的HDFS和YARN。

格式化启动Hadoop集群的步骤如下：

1. 在NameNode（master1）格式化Hadoop的元数据（只需要第一次启动集群时执行一次）

2. 启动HDFS集群

3. 启动YARN集群

任务实现

1. 格式化集群的NameNode（在master1执行）

[root@master1 ~]# hdfs namenode -format

回显如下：

[root@master1 ~]# hdfs namenode -format
23/10/18 08:57:10 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = master1/192.168.3.129
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.10.1
STARTUP_MSG:   classpath = ...略
STARTUP_MSG:   build = https://github.com/apache/hadoop -r 1827467c9a56f133025f28557bfc2c562d78e816; compiled by 'centos' on 2020-09-14T13:17Z
STARTUP_MSG:   java = 1.8.0_181
************************************************************/
23/10/18 08:57:10 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
23/10/18 08:57:10 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-c67c639d-7eec-459d-9b60-3d5e696ccce8
23/10/18 08:57:10 INFO namenode.FSEditLog: Edit logging is async:true
23/10/18 08:57:10 INFO namenode.FSNamesystem: KeyProvider: null
23/10/18 08:57:10 INFO namenode.FSNamesystem: fsLock is fair: true
23/10/18 08:57:10 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false
23/10/18 08:57:10 INFO namenode.FSNamesystem: fsOwner             = root (auth:SIMPLE)
23/10/18 08:57:10 INFO namenode.FSNamesystem: supergroup          = supergroup
23/10/18 08:57:10 INFO namenode.FSNamesystem: isPermissionEnabled = false
23/10/18 08:57:10 INFO namenode.FSNamesystem: HA Enabled: false
23/10/18 08:57:10 INFO common.Util: dfs.datanode.fileio.profiling.sampling.percentage set to 0. Disabling file IO profiling
23/10/18 08:57:10 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit: configured=1000, counted=60, effected=1000
23/10/18 08:57:10 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
23/10/18 08:57:10 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000
23/10/18 08:57:10 INFO blockmanagement.BlockManager: The block deletion will start around 2023 Oct 18 08:57:10
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map BlocksMap
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^21 = 2097152 entries
23/10/18 08:57:10 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false
23/10/18 08:57:10 WARN conf.Configuration: No unit for dfs.heartbeat.interval(3) assuming SECONDS
23/10/18 08:57:10 WARN conf.Configuration: No unit for dfs.namenode.safemode.extension(30000) assuming MILLISECONDS
23/10/18 08:57:10 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
23/10/18 08:57:10 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.min.datanodes = 0
23/10/18 08:57:10 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.extension = 30000
23/10/18 08:57:10 INFO blockmanagement.BlockManager: defaultReplication         = 2
23/10/18 08:57:10 INFO blockmanagement.BlockManager: maxReplication             = 512
23/10/18 08:57:10 INFO blockmanagement.BlockManager: minReplication             = 1
23/10/18 08:57:10 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2
23/10/18 08:57:10 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000
23/10/18 08:57:10 INFO blockmanagement.BlockManager: encryptDataTransfer        = false
23/10/18 08:57:10 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000
23/10/18 08:57:10 INFO namenode.FSNamesystem: Append Enabled: true
23/10/18 08:57:10 INFO namenode.FSDirectory: GLOBAL serial map: bits=24 maxEntries=16777215
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map INodeMap
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^20 = 1048576 entries
23/10/18 08:57:10 INFO namenode.FSDirectory: ACLs enabled? false
23/10/18 08:57:10 INFO namenode.FSDirectory: XAttrs enabled? true
23/10/18 08:57:10 INFO namenode.NameNode: Caching file names occurring more than 10 times
23/10/18 08:57:10 INFO snapshot.SnapshotManager: Loaded config captureOpenFiles: falseskipCaptureAccessTimeOnlyChange: false
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map cachedBlocks
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^18 = 262144 entries
23/10/18 08:57:10 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
23/10/18 08:57:10 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
23/10/18 08:57:10 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
23/10/18 08:57:10 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
23/10/18 08:57:10 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
23/10/18 08:57:10 INFO util.GSet: Computing capacity for map NameNodeRetryCache
23/10/18 08:57:10 INFO util.GSet: VM type       = 64-bit
23/10/18 08:57:10 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
23/10/18 08:57:10 INFO util.GSet: capacity      = 2^15 = 32768 entries
23/10/18 08:57:10 INFO namenode.FSImage: Allocated new BlockPoolId: BP-894844368-192.168.3.129-1697619430610
23/10/18 08:57:10 INFO common.Storage: Storage directory /opt/app/hadoop_path/hdfs/name has been successfully formatted.
23/10/18 08:57:10 INFO namenode.FSImageFormatProtobuf: Saving image file /opt/app/hadoop_path/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
23/10/18 08:57:10 INFO namenode.FSImageFormatProtobuf: Image file /opt/app/hadoop_path/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 322 bytes saved in 0 seconds .
23/10/18 08:57:10 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
23/10/18 08:57:10 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.
23/10/18 08:57:10 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master1/192.168.3.129
************************************************************/

回显的日志中未出现报错信息代表NameNode格式化成功。

此时在NameNode的元数据目录中会生成【current】文件夹，其中保存了HDFS的元数据文件，如下：

[root@master1 name]# cd /opt/app/hadoop_path/hdfs/name
[root@master1 name]# ll
total 0
drwxr-xr-x 2 root root 112 Oct 18 08:57 current
[root@master1 name]# ll current/
total 16
-rw-r--r-- 1 root root 322 Oct 18 08:57 fsimage_0000000000000000000
-rw-r--r-- 1 root root  62 Oct 18 08:57 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root   2 Oct 18 08:57 seen_txid
-rw-r--r-- 1 root root 215 Oct 18 08:57 VERSION

2.  启动HDFS集群，在master1上执行

[root@master1 ~]# start-dfs.sh

3. 启动YARN集群，在master1上执行

[root@master1 ~]# start-yarn.sh

  查看集群中的守护进程

全部启动完后分别在各个服务器上执行jps是可以看到下面这些进程的，输入【jps】命令，可以查看启动的守护进程，分别为：

master1：NameNode、ResourceManager
从slave1：DataNode、NodeManager
从slave2：DataNode、NodeManager、SecondaryNameNode

http://www.niftyadmin.cn/n/5535330.html

相关文章

【Python机器学习】算法链与管道——通用的管道接口

【Python机器学习】算法链与管道——通用的管道接口

Pipeline类补单可以用于预处理和分类，实际上还可以将任意数量的估计器连接在一起。例如，我们可以构建一个包含特征提取、特征选择、缩放和分类的管道，总共有4个步骤。同样的，最后一步可以用聚类或回归代替。 对于管道中估计器的唯…
阅读更多...
基于 Gunicorn + Flask + Docker 的模型高并发部署

基于 Gunicorn + Flask + Docker 的模型高并发部署

在现代 Web 应用程序中，处理高并发请求是一个常见且重要的需求。本文将介绍如何使用 Gunicorn、Flask 和 Docker 来实现模型的高并发部署。我们将从环境设置、代码实现、Docker 镜像构建及部署等方面进行详细讲解。 一、环境设置 1. 安装 Flask 首先，…
阅读更多...
LLaVA1.5训练数据和时间分析

LLaVA1.5训练数据和时间分析

LLaVA的PT+SFT训练_llava sft-CSDN博客文章浏览阅读379次。这个阶段，使用8个A100（80G）训练LLaVA-v1.5-13B大约需要20h。全量微调，非lora跑不起来啊,以前一直用swift，llama-factory这种框架式的代码库，但用原作者开源的代码也是有很多好处的。在这个阶段，使用 8 个 A100（…
阅读更多...
微信小程序 DOM 问题

微信小程序 DOM 问题

DOM 渲染问题 问题 Dom limit exceeded, please check if theres any mistake youve made.测试页面 1 <template><scroll-view scroll"screen" style"width: 100%;height: 100vh;" :scroll-y"true" :scroll-with-animation"tru…
阅读更多...
vue使用scrollreveal和animejs实现页面滑动到指定位置后再开始执行动画效果

vue使用scrollreveal和animejs实现页面滑动到指定位置后再开始执行动画效果

效果图 效果链接&#xff1a;http://website.livequeen.top 介绍 一、Scrollreveal ScrollReveal 是一个 JavaScript 库&#xff0c;用于在元素进入/离开视口时轻松实现动画效果。 ScrollReveal 官网链接&#xff1a;ScrollReveal 二、animejs animejs是一个好用的动画库…
阅读更多...
大数据------JavaWeb------MyBatis（完整知识点汇总）

大数据------JavaWeb------MyBatis（完整知识点汇总）

MyBatis MyBatis简介 定义 它是一款优秀的持久层框架&#xff0c;用于简化JDBC开发它原来是Apache的一个开源项目iBatis&#xff0c;后来改名为MyBatis中文官网&#xff1a;https://mybatis.org/mybatis-3/zh_CN/index.html JaveEE三层架构 表现层&#xff08;做页面展示&…
阅读更多...
什么是代理IP?代理IP有什么好处呢?

什么是代理IP?代理IP有什么好处呢?

在互联网的世界里&#xff0c;每台设备都有一个独特的身份标识&#xff0c;即IP地址。这个IP地址不仅仅是一串数字&#xff0c;它代表着设备在网络中的位置&#xff0c;同时也可能暴露用户的地理位置和其他个人信息。为了保护用户的隐私&#xff0c;提高网络安全&#xff0c;或…
阅读更多...
基于Transformer的端到端的目标检测 | 读论文

基于Transformer的端到端的目标检测 | 读论文

本文正在参加 人工智能创作者扶持计划 提及到计算机视觉的目标检测&#xff0c;我们一般会最先想到卷积神经网络&#xff08;CNN&#xff09;&#xff0c;因为这算是目标检测领域的开山之作了&#xff0c;在很长的一段时间里人们都折服于卷积神经网络在图像处理领域的优势&…
阅读更多...
最新文章

Copyright @ 2022~2023