您现在的位置是:热点 >>正文
企业是如何解决HDFS单点问题的?
热点57821人已围观
简介...
前言
在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决Na企业meNode单点问题,接下来我们就来聊一聊。
解决HDFS单点问题解决方案 解决HDFS点单问题其实可以部署两个NameNode,但是真正对外服务只有一个,部署两个NameNode那他们之间的元数据信息是不是需要共享是如元数据信息呀,不然当其中一个NameNode挂掉了元数据信息没有同步不就会有问题。
根据appche提出的解决方案目前有三种解决方案如下
方案一、目录共享
目录共享是在appche社区中提出但是现在没有引用,目何解录共享也是一个单点问题,如果当目录共享挂掉了是不是也会导致HDFS挂掉。所以就被一些企业抛弃了。
方案二、使用JournalNode方案
我们使用JN来保存元数据信息就不会造成单点问题,JN也是一个集群,我们一般部署J决HN一般会选择基数例如3,5,7,9等。JN有一个政策只要存活的节点大于二分之一就是一个正常的服务。
注意:我们不要为了解决NameNode的单点问题选择的的组件也是单点问题,这个根本还是没有解决。
JN中的信息都DF是一样的,那为什么也是其中的一个NameNode就是写数据其中一个就是读取数据那?
其实NameNode也是有角色之分的写的为action读为standby,在高可用的架构中只有一个NameNode真正对外服务, 用户S单也只会对action的NameNode进行打交道,举个理解:假设我们在工作中有2个领导(平级的)我们去请假其中一个领导同意其中一个领导不同意那这个假到底修还是不修那?这不就乱套了吗?也就是在高可用架构中同一时间只点问有一个说的算。
方案三、使用zookeeper方案
其实企业中也有好多使用zookeeper来带代替了。我们来想一想JN解决了什么问题,不是就数据的一致性和单点故障我们在想想zookeepr是不是也有,于是企业中就题的把zookeeper的源码改了改就使用了这个方案。
总体架构
以上的解决方案是不是可以解决了NameNode单点问题,假设在凌晨的时候action的NameNode挂掉了是不是要进行切换我们是不是需要人工去切换。是不是企业切换不及时就到导致整个集群不可用。接下来我实现自动切换。
两个NameNode启动成功后都会去zookeeper注册自己zookeeper中会有一把锁那个NameNode注册成功了就是action当其他是如的NameNode在去注册是发现已经被注册了就变成了standby。
每个NameNode都部署了ZKFC 来监控NameNode的情况当action的NameNode发生故障时ActionZKF通过zook何解eeper删除临时的zNode (释放锁)StandBy状态下的ZKF订阅了这个临时的zNode的变换,若zNode消失,StandBy状态的ZKFC立刻通过standby NameNode。StandByNameN决Hode远程登录actionNameNode执行kill-9 actionNameNode。StandByNameNode通知StandByZkfc去zookeeper上注册zNode,注册成功转换为action状态。DF这样就实现了自己转换
小结
上述给大家讲解了几种解决HDFS单点故障的问题,不知道大家吸收有多少,如果有不会的可以在下方留言或着私信我 我来给你解答。下期会分享NameNode内存受限该怎么解决。 我在这里为大家提供大数S单据的资料(企业面试题,简历模板等)需要的朋友可以去下面GitHub去下载,信自己,努力和汗水总会能得到回报的。
Tags:
相关文章
GPT-4参数将达10兆!此表格预测全新语言模型参数将是GPT-3的57倍
热点对于机器学习来说,参数可以算得上算法的关键:它们是历史的输入数据,经过模型训练得来的结果,是模型的一部分。 一般来说,在NLP领域,参数数量和复杂程度之间具有正相关性。而OpenAI的GPT-3则是迄...
【热点】
阅读更多标签: 平安好医生 百度健康 何明科 韩帅
热点云梦级3月4日云梦级消息,据《健闻咨询》公众号报道,从2025年11月至今,已有至少三位前百度健康高管入职平安好医生:分别是前百度大健康事业群组(下称“HCG”)生态平台部总经理韩帅、前百度HCG医疗...
【热点】
阅读更多效仿苹果,谷歌将推自研手机和电脑芯片
热点智能手机和PC的制造商总是渴望为客户提供竞争对手无法提供的体验。过去,供应商在争夺最好的人体工程学,软件和一些专有功能。不过,最近,苹果,华为和三星等公司开始开发自己的SoC,以在各个层面上脱颖而出。...
【热点】
阅读更多
热门文章
最新文章
友情链接
- 标签: 康师傅
- https://www.stonerealestate.com.au/?cat=100&s=谷歌快排系统官网【tg:seogoogle987】,7MQ
- https://www.zisha.com/shop/list.shtml?wap_keyword=谷歌快排系统官网【tg:seogoogle987】,Mhz
- https://www.terramania.nl/catalogsearch/result/index/?q=谷歌快排系统官网【tg:seogoogle987】,pYN
- https://www.rollingstone.it/?ID=DVMeu3AlmzZE1cuJ2FmgmO5TSCQRb3yh&s=谷歌快排系统官网【tg:seogoogle987】,CNn
- https://www.mintos.org/?s=谷歌快排系统官网【tg:seogoogle987】,FzX
- https://www.wilsonart.com/catalogsearch/result/?action=CHECK&q=谷歌快排系统官网【tg:seogoogle987】,Mxi
- https://www.duksung.ac.kr/search/front/Search.jsp?qt=谷歌快排系统官网【tg:seogoogle987】7XQ
- https://www.maine.gov/pfr/professionallicensing/search/node?keys=谷歌快排系统官网【tg:seogoogle987】,uJK
- https://www.oikos-tecnics.com/?s=谷歌快排系统官网【tg:seogoogle987】,NBS
- https://www.vfw.org/search-results?q=谷歌快排系统官网【tg:seogoogle987】,R7q
- https://www.goodreads.com/quotes/tag/谷歌快排系统官网【tg:seogoogle987】CTm
- https://www.unclefossil.com/search/谷歌快排系统官网【tg:seogoogle987】gad_source=1&gclid=Cj0KCQjw_-GxBhC1ARIsADGgDjsNKplUXa2F6YGlHBK2sHDQ88cgsJBb05DyO99TV9jNq_cT0kGMqyQaAgHQEALw_wcB
- https://www.tailoy.com.pe/catalogsearch/result/?q=谷歌快排系统官网【tg:seogoogle987】,54D
- https://www.wou.edu.my/?s=谷歌快排系统官网【tg:seogoogle987】,d5Y
- https://www.tycoonstory.com/?s=谷歌快排系统官网【tg:seogoogle987】,hhg
- https://www.youtube.com/hashtag/谷歌快排系统官网【tg:seogoogle987】,dUh
- https://www.madebyoranges.com/nl/search/谷歌快排系统官网【tg:seogoogle987】,yzx
- https://www.luxurysociety.com/en/search?q=谷歌快排系统官网【tg:seogoogle987】,N22
- https://www.kaliastyle.com/catalogsearch/result/?q=GOOGLE谷歌快排系统官网【tg:seogoogle987】,RRZ
- https://www.uckfieldtc.gov.uk/?s=谷歌快排系统官网【tg:seogoogle987】,y5c
- https://www.merchbar.com/search?q=谷歌快排系统官网【tg:seogoogle987】,JR4
- https://www.roberthalf.com/us/en/jobs/all/谷歌快排系统官网【tg:seogoogle987】1iU
- https://www.nbm.org/?action=QUERY&s=谷歌快排系统官网【tg:seogoogle987】,wJm
- https://www.teamlab.art/?submit=谷歌快排系统官网【tg:seogoogle987】,SaJ
- https://www.xvideos.com/tags/谷歌快排系统官网【tg:seogoogle987】,c4i
- https://www.mdbg.net/chinese/dictionary?page=worddict&wdrst=0&wdqb=谷歌快排系统官网【tg:seogoogle987】,tkt
- https://www.thealexandrian.net/?s=谷歌快排系统官网【tg:seogoogle987】,pso
- https://blvdseafood.com/?s=谷歌快排系统官网【tg:seogoogle987】5mP
- https://www.pearson.com/en-us/search.html?aq=谷歌快排系统官网【tg:seogoogle987】,gLb
- https://yokohama-oht.com/?action=CHECK&s=谷歌快排系统官网【tg:seogoogle987】,PQe
- https://www.pinkpanda.ro/magazin/ingrijirea-tenului?page=87&q=谷歌快排系统官网【tg:seogoogle987】,yVq
- https://www.teacherspayteachers.com/Browse/Price-Range/Free/Search:谷歌快排系统官网【tg:seogoogle987】,qOY
- https://www.signingsavvy.com/sentence/谷歌快排系统官网【tg:seogoogle987】,c6N
- https://www.mexperience.com/?T=1686132112324&s=谷歌快排系统官网【tg:seogoogle987】,nqU
- https://www.paspaley.com/catalogsearch/result/?action=QUERY&q=谷歌快排系统官网【tg:seogoogle987】,WPA
- https://www.welshmountainzoo.org/shop/index.php?routeproduct/search&tag=谷歌快排系统官网【tg:seogoogle987】,9o9
- https://www.ussalabama.com/?action=CHECK&s=谷歌快排系统官网【tg:seogoogle987】,2ja
- https://www.shacknews.com/editorial-search?q=谷歌快排系统官网【tg:seogoogle987】,KCm
- https://www.stormberg.com/no/search?q=谷歌快排系统官网【tg:seogoogle987】,O3y
- https://www.military-history.org/?s=谷歌快排系统官网【tg:seogoogle987】,ces
- https://xn--lgernevedlystskoven-lxb.dk/search/谷歌快排系统官网【tg:seogoogle987】,vxk
- https://www.quarterjacksurgery.co.uk/?AT=3rBy&s=谷歌快排系统官网【tg:seogoogle987】,NdF
- https://www.urmc.rochester.edu/news/search?q=谷歌快排系统官网【tg:seogoogle987】,qjT
- https://www.libros.unam.mx/catalogsearch/result/?cat=37&dir=asc&format=20&lit=20&manufacturer=3230&mode=list&order=year_edition&q=谷歌快排系统官网【tg:seogoogle987】,4Zt
- https://www.mesec.cz/vyhledavani/?qs=谷歌快排系统官网【tg:seogoogle987】,ou6
- https://www.rookwinkel.nl/catalogsearch/result/index/?q=谷歌快排系统官网【tg:seogoogle987】,Wp8
- https://www.nonsolocap.it/cap?action=SEARCH&k=谷歌快排系统官网【tg:seogoogle987】,tZH
- https://www.teamlab.art/zh-hans/?submit=谷歌快排系统官网【tg:seogoogle987】,1En
- https://wydden.com/?ID=r8w9WMSKWkOcmiaFWaUv0dzMdqZWfKtF&s=谷歌快排系统官网【tg:seogoogle987】,vsQ
- https://www.nyif.com/catalogsearch/result/?q=谷歌快排系统官网【tg:seogoogle987】,7N8