hadoop是做什么的
更新时间: 2025-08-04 12:49:40
1、Hadoop主要是分布式计算和存储的框架,所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。
2、分布式存储系统HDFS中工作主要是一个主节点namenode(master)(hadoop1.x只要一个namenode节点,2.x中可以有多个节点)和若干个从节点Datanode(数据节点)相互配合进行工作。
3、HDFS主要是存储Hadoop中的大量的数据,namenode节点主要负责的是:接收client用户的操作请求,这种用户主要指的是开发工程师的Java代码或者是命令客户端操作。维护文件系统的目录结构,主要就是大量数据的关系以及位置信息等。管理文件系统与block的关系。
4、Hadoop中大量的数据为了方便存储和管理主要是以block块(64M)的形式储存。一个文件被分成大量的block块存储之后,block块之间都是有顺序关系的,这个文件与block之间的关系以及block属于哪个datanode都是有namenode来管理。
hadoop是做什么的 相关文章
- 青甘大环线图解|此生必去的西北秘境,...
- 陕西省西安市蓝田县气象台发布高温红色...
- 四川省阿坝藏族羌族自治州阿坝县气象台...
- 山西省临汾市曲沃县气象台发布高温黄色...
- 广东省阳江市阳春市气象台发布雷雨大风...
- 广东省河源市气象台发布暴雨黄色预警信...
- 广东省惠州市惠阳区气象台发布暴雨红色...
- 福建省泉州市永春县气象台发布暴雨黄色...
- 广东省河源市东源县气象台发布暴雨黄色...
- 赫章县气象台发布雷电黄色预警信号
- 宁夏回族自治区银川市永宁县气象台发布...
- 广东省惠州市博罗县气象台发布暴雨橙色...
- 松桃县气象台发布高温橙色预警信号
- 山西省临汾市霍州市气象台发布高温黄色...
- 河北省张家口市阳原县气象台发布雷电黄...
- 贵州省黔东南苗族侗族自治州剑河县气象...
- 河北省廊坊市香河县气象台发布雷电黄色...
- 福建省宁德市古田县气象台发布雷电黄色...
- 新疆维吾尔自治区阿克苏地区新和县气象...
- 河北省保定市安新县气象台发布雷电黄色...