hadoop是做什么的
更新时间: 2025-04-29 17:04:54
1、Hadoop主要是分布式计算和存储的框架,所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。
2、分布式存储系统HDFS中工作主要是一个主节点namenode(master)(hadoop1.x只要一个namenode节点,2.x中可以有多个节点)和若干个从节点Datanode(数据节点)相互配合进行工作。
3、HDFS主要是存储Hadoop中的大量的数据,namenode节点主要负责的是:接收client用户的操作请求,这种用户主要指的是开发工程师的Java代码或者是命令客户端操作。维护文件系统的目录结构,主要就是大量数据的关系以及位置信息等。管理文件系统与block的关系。
4、Hadoop中大量的数据为了方便存储和管理主要是以block块(64M)的形式储存。一个文件被分成大量的block块存储之后,block块之间都是有顺序关系的,这个文件与block之间的关系以及block属于哪个datanode都是有namenode来管理。
hadoop是做什么的 相关文章
- 未来十年气候变化趋势解析:极端天气应...
- 北京发布大风蓝色预警信号明天阵风可达...
- 未来十年极端天气频发趋势与气候变化应...
- 今夜四川川西高原仍有中到大雪明后天降...
- 极端天气频发现象解析:气候变化应对措...
- 河北省唐山市迁西县气象台发布大风蓝色...
- 河北省唐山市迁安市气象台发布大风蓝色...
- 河北省邯郸市鸡泽县气象台发布大风蓝色...
- 山东省威海市气象台发布大风黄色预警信...
- 甘肃省甘南藏族自治州玛曲县气象台发布...
- 山西省大同市气象台发布霜冻蓝色预警信...
- 河北省唐山市乐亭县气象台发布大风蓝色...
- 湖北省宜昌市长阳土家族自治县气象台发...
- 河北省唐山市丰润区气象台发布大风蓝色...
- 宁夏回族自治区气象台发布大风黄色预警...
- 河北省邯郸市邱县气象台发布大风蓝色预...
- 云南省德宏傣族景颇族自治州瑞丽市气象...
- 四川省凉山彝族自治州木里藏族自治县气...
- 辽宁省大连市长海县气象台发布大风蓝色...
- 大方县气象台发布大风蓝色预警信号