У чым розніца паміж рэжымам чакання NameNode і другасным NameNode? Ці мае новы Hadoop з YARN другасны NameNode?


адказ 1:

Як частка сучаснай архітэктуры дадзеных, Hadoop павінен быць добрым грамадзянінам і надзейным у рамках бізнесу. Гэты пост тлумачыць перавагі Hadoop 2.0 і працягвае папярэднюю публікацыю ў блогу, у якой абвяшчаецца аб укараненні стабільнага развіцця вытворчасці. Гэта азначае, што ўсе паслугі і функцыі платформы, якія чакаюцца ад карпаратыўнай платформы дадзеных, павінны быць прадастаўлены.

Размеркаваная файлавая сістэма Hadoop з'яўляецца сэрцам HDP і забяспечвае надзейны маштабаваны доступ да дадзеных для ўсіх патрабаванняў аналітычнай апрацоўкі. Актыўны вузел імя адказвае за ўсе кліентскія аперацыі кластара. Вы можаце перайсці па гэтай спасылцы: https://goo.gl/LkqT8x У вузле імені чакання захоўваецца дастатковы статус для ўключэння хуткага адключэння. Так што вузел чакання захоўвае статус, які сінхранізуецца з актыўным вузлом З HDP 2.0, які ўбудаваны ў саму платформу, HDFS цяпер мае аўтаматызаванае адключэнне з гарачым рэжымам чакання і поўнай надзейнасцю стэка. Мы разаб'ём гэта ў гэтым блогу і растлумачым, што гэта азначае для вашых аперацый HDP і дызайну кластараў.

Вось чатыры асноўныя паляпшэнні Hadoop 2.0 над Hadoop1.x:

HDFS Federation - гарызантальная маштабаванасць вузла імя.

Высокая даступнасць вузла імя - Узел імя больш не з'яўляецца адзіным пунктам адмовы

Пража - Магчымасць апрацоўваць дадзеныя тэрабайт і пета байтаў, даступныя ў HDFS, выкарыстоўваючы прыкладанні для памяншэння карт, такія як MPI, GIRAPH

Менеджэр па рэсурсах - дзеліць дзве асноўныя функцыі трэкера перагружаных задач (кіраванне рэсурсамі і планаванне працы / маніторынг) на два асобных дэмана: глабальны менеджэр рэсурсаў і майстар прыкладанняў на прыкладанне

Акрамя таго, актывацыя НА не з'яўляецца абавязковай. Калі ён актываваны, вы не можаце выкарыстоўваць SecondaryNamenode. Актывізавана альбо другасная нананода, альбо актываваны рэжым чакання. З тых часоў Apache выпусціў яшчэ дзве версіі Hadoop 2. Апошняя версія 2.4.0 Hadoop 2 зараз падтрымлівае аўтаматычнае адключэнне YARN ResourceManager. Дзякуючы шматлікім падобным бізнес-функцыям, Hadoop робіць навіны і станоўчыя прагнозы