전체 글 (22) 썸네일형 리스트형 Hive Metastore contains multiple versions Exception 해결방법 Hive 를 사용하다 보면 아래 로그와 같이 Hive 의 Metastore 에 버전이 여러 개 존재한다고 하는 MetaException(message:Metastore contains multiple versions) 에러를 종종 만나게 됩니다. 아래 로그는 실제 에러가 발생한 이후, Hive 를 통하여 어떠한 쿼리를 실행하였을 때 발생하는 에러 로그 입니다. 2016-07-02 16:14:33,330 ERROR metastore.HiveMetaStore (HiveMetaStore.java:main(4224)) - Metastore Thrift Server threw an exception... MetaException(message:Metastore contains multiple versions) a.. MySQL 설치 진행이 되지 않거나 에러 발생 시 해결방법 (Windows) 아래는 Windows 에서 MySQL 설치 시 자주 발생하는 에러에 대한 해결 방법입니다. MySQL 설치 관련 문서는 이전 글 을 참고하시면 됩니다. Initializing database (may take a long time) 단계 에러 아래 화면과 같이 Initializing database 단계에서 에러가 발생하는 경우는, 컴퓨터 사용자의 이름에 한글이 들어가 있기 때문입니다. 이 문제는 컴퓨터의 사용자 이름에 한글이 들어가 있기 때문에 발생하는 문제 인데, 컴퓨터 사용자의 이름을 바꿀 수 없는 상황이라면 아래와 같이 해결을 할 수 있습니다. (바꿀 수 있다해도 아래 방법을 더 추천합니다.) 설치 과정에서 아래 화면처럼 Show Advanced and Logging Options 를 체크 합니다.. MySQL 설치 (Windows) 설치 전 주의사항 Windows 에 로그인한 사용자 이름에 한글이 들어가 있으면 설치 진행이 끝까지 되지 않습니다. 윈도우 유저의 이름을 변경하는 방법도 있지만 번거롭기 때문에, 이 경우도 아래 내용을 참고하셔서 설치 진행하시면 됩니다. 설치 과정에서 에러가 발생하거나 진행이 안되는 경우에는 다음 글 을 참고하세요. MySQL Community 버전 다운로드 구글에서 mysql community downloads 로 검색 가운데 Go to Download Page 클릭 다운로드 받는 시점에 따라 버전은 다를 수 있음 OS 에 맞는 설치 파일 다운로드 Windows 사용자는 아래쪽 mysql-installer-community-8.0.29.0.msi 다운로드 클릭 Mac 사용자는 dmg 파일 다운로드 아래.. GIS (Geographic Information System) 관련 용어 정의 GIS 도메인은 데이터 처리나 시스템 구현 관점에서도 하나의 전문 영역으로 분리할 수 있는 대상입니다. GIS 기반 프로그래밍을 할 일이 생겨서 관련 내용을 정리하려고 하는데 첫번째 편으로 용어에 대한 정리를 해보았습니다. 위도와 위선 위도는 지구상에서 적도를 기준으로 북쪽 또는 남쪽으로 얼마나 떨어져 있는지 나타내는 위치입니다. 위도의 단위는 도(°)이며, 북극점을 나타내는 90° N(북위 90도)부터 남극점을 나타내는 90° S(남위 90도)까지의 범위 안에 있습니다. 위선은 적도에 평행하게 지구 둘레를 따라 그은 가상적인 선으로, 위도를 나타내는 데 사용됩니다. 경도와 경선 경도는 지구상에서 본초 자오선을 기준으로 동쪽 또는 서쪽으로 얼마나 떨어져 있는지 나타내는 위치입니다. 경도의 단위는 도(°).. 아파치 실시간 처리 프레임워크 비교분석 (2편) 지난 글 에서는 아파치 프로젝트로 오픈되어 많은 인기를 얻고있는 Storm, Trident, Spark, Samza, Flink 에 대한 기본 특성과 분산 플랫폼의 필수 이론을 살펴보았습니다. 이번 글 에서는 무정지형(Fault Tolerance) 시스템구축, 상태관리, 성능 등의 좀더 깊이있는 주제와 더불어 실시간 스트리밍 처리 플랫폼에 대한 가이드라인 및 추천을 해보려고 합니다. Fault Tolerance 스트리밍 플랫폼에서 Fault Tolerance 한 시스템을 구현한다는 것은 배치(batch) 플랫폼에서의 구현과 비교하여 본질적으로 더 많은 어려움을 가지고 있습니다. 배치 처리 플랫폼에서는 데이터 처리에 실패했을 때 연산에 실패한 부분을 재실행 함으로써 쉽게 해결할 수 있으나, 스트리밍 플랫폼.. 아파치 실시간 처리 프레임워크 비교분석 (1편) 최근 실시간 처리를 위한 다양한 프레임워크가 오픈되어 있는데, 각 프레웜워크의 특성과 장단점을 비교해 보려고 합니다. 실시간 분산 처리 프레임워크는, DAGs(Directed Acyclic Graphs)라 불리우는 데이터 처리 모델을 바탕으로, 수초(혹은 ms) 이내에 무한한 데이터의 처리, 집계, 분석을 할 수 있습니다. DAG는 아래 그림에서 볼 수 있듯이 sources 로부터 sinks 까지의 task 들이 사슬처럼 엮여있는 것에 대한 표현인데, 일반적으로 스트리밍 Job의 Topology 를 설명하는 것으로 사용됩니다. DAG 는 단일 노드에서도 실행, 생성될 수 있으나 이번 글에서는 분산 처리가 가능한 DAG 솔루션 들에 대해서 살펴보도록 하겠습니다. 주요 관심 포인트 분산 스트리밍 플랫폼을 비.. 이전 1 2 3 다음
