전체 글 (24) 썸네일형 리스트형 Hadoop 3.0 신규 기능 살펴보기 하둡이 1.0 에서 2.0 으로 진화할 때, NameNode 의 HA 와 YARN 의 등장이 가장 큰 변화였다고 할 수 있습니다. 이번에는 2.0 에서 3.0 버전으로 진화하면서 추가된 주요 특성에 대해서 살펴보겠습니다. Java Version 하둡 3.0 에서 요구하는 최소 자바 버전은 기존 Java 7 에서 Java 8 로 변경 되었습니다. 아직 프로덕션 환경의 자바 메인 버전을 Java 7 로 사용하고 계시다면, 다가오는 하둡 3.0 적용을 위해 Java 8 로의 업그레이드를 고려해 보시는 것이 좋겠습니다. Support Erasure Coding in HDFS Erasure Coding 은 안정성을 보장하는 데이터 저장 방식의 하나로, 일반적으로 3배의 오버헤드를 갖는 HDFS 의 복제 방식(re.. AWS re:Invent 2020 Top Announcements 살펴보기 전 세계 최대 클라우드 컨퍼런스인 AWS re:Invent 2020 이 11월 30일부터 12월 18일까지 약 3주에 걸쳐 온라인으로 진행되고 있습니다. 많은 사람들의 관심을 끌만한 수많은 쎄션들 중, AWS 블로그 사이트에 공개된 Top Announcements 에 대해 살펴보겠습니다. Analytics New – Amazon QuickSight Q Answers Natural-Language Questions About Business Data 첫번째 소식은, Amazon 의 관리형 BI 서비스인 Amazon QuickSight 에서 머신러닝 기반의 자연언어쿼리(Natural Language Query, 이하 NLQ)를 지원한다는 소식입니다. BI 솔루션은 데이터를 시각화 중심의 차트로 빠르게 표현하.. Hive Metastore contains multiple versions Exception 해결방법 Hive 를 사용하다 보면 아래 로그와 같이 Hive 의 Metastore 에 버전이 여러 개 존재한다고 하는 MetaException(message:Metastore contains multiple versions) 에러를 종종 만나게 됩니다. 아래 로그는 실제 에러가 발생한 이후, Hive 를 통하여 어떠한 쿼리를 실행하였을 때 발생하는 에러 로그 입니다. 2016-07-02 16:14:33,330 ERROR metastore.HiveMetaStore (HiveMetaStore.java:main(4224)) - Metastore Thrift Server threw an exception... MetaException(message:Metastore contains multiple versions) a.. MySQL 설치 진행이 되지 않거나 에러 발생 시 해결방법 (Windows) 아래는 Windows 에서 MySQL 설치 시 자주 발생하는 에러에 대한 해결 방법입니다. MySQL 설치 관련 문서는 이전 글 을 참고하시면 됩니다. Initializing database (may take a long time) 단계 에러 아래 화면과 같이 Initializing database 단계에서 에러가 발생하는 경우는, 컴퓨터 사용자의 이름에 한글이 들어가 있기 때문입니다. 이 문제는 컴퓨터의 사용자 이름에 한글이 들어가 있기 때문에 발생하는 문제 인데, 컴퓨터 사용자의 이름을 바꿀 수 없는 상황이라면 아래와 같이 해결을 할 수 있습니다. (바꿀 수 있다해도 아래 방법을 더 추천합니다.) 설치 과정에서 아래 화면처럼 Show Advanced and Logging Options 를 체크 합니다.. MySQL 설치 (Windows) 설치 전 주의사항 Windows 에 로그인한 사용자 이름에 한글이 들어가 있으면 설치 진행이 끝까지 되지 않습니다. 윈도우 유저의 이름을 변경하는 방법도 있지만 번거롭기 때문에, 이 경우도 아래 내용을 참고하셔서 설치 진행하시면 됩니다. 설치 과정에서 에러가 발생하거나 진행이 안되는 경우에는 다음 글 을 참고하세요. MySQL Community 버전 다운로드 구글에서 mysql community downloads 로 검색 가운데 Go to Download Page 클릭 다운로드 받는 시점에 따라 버전은 다를 수 있음 OS 에 맞는 설치 파일 다운로드 Windows 사용자는 아래쪽 mysql-installer-community-8.0.29.0.msi 다운로드 클릭 Mac 사용자는 dmg 파일 다운로드 아래.. GIS (Geographic Information System) 관련 용어 정의 GIS 도메인은 데이터 처리나 시스템 구현 관점에서도 하나의 전문 영역으로 분리할 수 있는 대상입니다. GIS 기반 프로그래밍을 할 일이 생겨서 관련 내용을 정리하려고 하는데 첫번째 편으로 용어에 대한 정리를 해보았습니다. 위도와 위선 위도는 지구상에서 적도를 기준으로 북쪽 또는 남쪽으로 얼마나 떨어져 있는지 나타내는 위치입니다. 위도의 단위는 도(°)이며, 북극점을 나타내는 90° N(북위 90도)부터 남극점을 나타내는 90° S(남위 90도)까지의 범위 안에 있습니다. 위선은 적도에 평행하게 지구 둘레를 따라 그은 가상적인 선으로, 위도를 나타내는 데 사용됩니다. 경도와 경선 경도는 지구상에서 본초 자오선을 기준으로 동쪽 또는 서쪽으로 얼마나 떨어져 있는지 나타내는 위치입니다. 경도의 단위는 도(°).. 아파치 실시간 처리 프레임워크 비교분석 (2편) 지난 글 에서는 아파치 프로젝트로 오픈되어 많은 인기를 얻고있는 Storm, Trident, Spark, Samza, Flink 에 대한 기본 특성과 분산 플랫폼의 필수 이론을 살펴보았습니다. 이번 글 에서는 무정지형(Fault Tolerance) 시스템구축, 상태관리, 성능 등의 좀더 깊이있는 주제와 더불어 실시간 스트리밍 처리 플랫폼에 대한 가이드라인 및 추천을 해보려고 합니다. Fault Tolerance 스트리밍 플랫폼에서 Fault Tolerance 한 시스템을 구현한다는 것은 배치(batch) 플랫폼에서의 구현과 비교하여 본질적으로 더 많은 어려움을 가지고 있습니다. 배치 처리 플랫폼에서는 데이터 처리에 실패했을 때 연산에 실패한 부분을 재실행 함으로써 쉽게 해결할 수 있으나, 스트리밍 플랫폼.. 아파치 실시간 처리 프레임워크 비교분석 (1편) 최근 실시간 처리를 위한 다양한 프레임워크가 오픈되어 있는데, 각 프레웜워크의 특성과 장단점을 비교해 보려고 합니다. 실시간 분산 처리 프레임워크는, DAGs(Directed Acyclic Graphs)라 불리우는 데이터 처리 모델을 바탕으로, 수초(혹은 ms) 이내에 무한한 데이터의 처리, 집계, 분석을 할 수 있습니다. DAG는 아래 그림에서 볼 수 있듯이 sources 로부터 sinks 까지의 task 들이 사슬처럼 엮여있는 것에 대한 표현인데, 일반적으로 스트리밍 Job의 Topology 를 설명하는 것으로 사용됩니다. DAG 는 단일 노드에서도 실행, 생성될 수 있으나 이번 글에서는 분산 처리가 가능한 DAG 솔루션 들에 대해서 살펴보도록 하겠습니다. 주요 관심 포인트 분산 스트리밍 플랫폼을 비.. 이전 1 2 3 다음
