하둡 (4) 썸네일형 리스트형 [동영상] 하둡 입문 강좌 하둡 입문 1강 - 하둡의 탄생과 생태계의 활용 https://www.youtube.com/watch?v=r9i4fJH6kQ0&list=PLA6Q5p-QvwIs3Izm_1JTTQRij9Bp93Zck&index=2&t=1s 하둡 입문 2강 - 하둡 설치 https://www.youtube.com/watch?v=JuC9IJJ97DI&list=PLA6Q5p-QvwIs3Izm_1JTTQRij9Bp93Zck&index=2 하둡 입문 3강 - 하둡 분산파일시스템(HDFS) 이해 1편 https://www.youtube.com/watch?v=T6lng0734sc&list=PLA6Q5p-QvwIs3Izm_1JTTQRij9Bp93Zck&index=3 하둡 입문 4강 - 하둡 분산파일시스템(HDFS) 이해 2편 https.. Hadoop Resource Localization 파헤치기 하둡 클러스터를 온프레미스에서 운영하면서 발생했던 ResourceLocalizationService 관련 장애 하나를 소개해 드리려고 합니다. 장애 상황을 설명해 드리기 전에, YARN 의 ResourceLocalizationService 가 어떤 역할을 하는 서비스인지 살펴보겠습니다. YARN 애플리케이션 동작방식 위 그림은 YARN 에서 MapReduce 애플리케이션이 동작하는 순서를 도식화 해놓은 그림입니다. 왼쪽 상단의 MapReduce program 이 하나의 Job 으로 실행되면, 전체 클러스터의 리소스를 관리하는 ResourceManager 가 전체 클러스터 노드 중에서, 제출된 Job 의 Master 역할을 하게될 ApplicationMaster 를 선정하여 구동하게 되고, 실제 데이터를 .. Hadoop 3.1 트러블슈팅 사례공유 하둡 업그레이드 필요성 하둡 1 혹은 2 버전을 사용하고 계시다면, 하둡 3 로의 업그레이드를 고민하실 것 입니다. 하둡 3 의 주요 특성과 장점은 아래 글을 참고 하시면 됩니다. 업그레이드를 부르는 Hadoop 3.0 신규 기능 살펴보기 하둡 3 로의 업그레이드는 위 글에서와 같이 여러가지 장점이 있습니다. 필자의 경우에는, 늘어나는 다양한 데이터를 저장할 공간이 부족한 가운데, 두배의 저장공간 확보가 가능하다는 것이 가장 큰 메리트로 다가왔으며, 언젠가 해야할 숙원사업 처럼 생각하고 있던 것을 드디어 실행에 옮기게 되었습니다. 하둡 버전에 대한 고민과 업그레이드 전략 얼마전, 클라우데라와 호튼웍스가 합병되면서, 하둡 플랫폼의 버전과 라이센스에도 큰 변화가 있었습니다. 클라우데라의 CDH 와 HDP 를.. Hadoop 3.0 신규 기능 살펴보기 하둡이 1.0 에서 2.0 으로 진화할 때, NameNode 의 HA 와 YARN 의 등장이 가장 큰 변화였다고 할 수 있습니다. 이번에는 2.0 에서 3.0 버전으로 진화하면서 추가된 주요 특성에 대해서 살펴보겠습니다. Java Version 하둡 3.0 에서 요구하는 최소 자바 버전은 기존 Java 7 에서 Java 8 로 변경 되었습니다. 아직 프로덕션 환경의 자바 메인 버전을 Java 7 로 사용하고 계시다면, 다가오는 하둡 3.0 적용을 위해 Java 8 로의 업그레이드를 고려해 보시는 것이 좋겠습니다. Support Erasure Coding in HDFS Erasure Coding 은 안정성을 보장하는 데이터 저장 방식의 하나로, 일반적으로 3배의 오버헤드를 갖는 HDFS 의 복제 방식(re.. 이전 1 다음
