분류 전체보기 (24) 썸네일형 리스트형 macOS 초기화 후 개발자를 위한 초기 세팅 MacOS 공장 초기화 이후에 개발자를 위해 꼭 필요한 세팅을 정리해 보고자 합니다. iTerm2 설치 다운로드 : https://iterm2.com/ iTerm2 - macOS Terminal Replacement iTerm2 by George Nachman. Website by Matthew Freeman, George Nachman, and James A. Rosen. Website updated and optimized by HexBrain iterm2.com Homebrew 설치 다운로드 : https://brew.sh/ /bin/bash -c "$(curl -fsSL )" ZSH 설치 요새 맥 유저들이 가장 많이 쓰는 확장판 쉘인 zsh 설치 (최신 macOS 버전에서는 디폴트로 설치되어 있다.. 네이버에 내 (티스토리)블로그 사이트 검색 등록하기 1. 네이버 서치어드바이저 검색 후 이동 구글에서 "네이버 서치어드바이저" 로 검색 후 결과 클릭 2. 웹마스터 도구로 이동 우측 상단 "웹마스터 도구" 를 클릭합니다. 3. 웹마스터 도구로 이동 사이트 등록에 본인의 블로그 주소를 등록하고 오른쪽 -> 모양 링크를 클릭 4. 사이트 소유 확인 등록하려는 블로그 주소가 본인 주소인지 검증하는 단계입니다. 아래쪽 HTML 태그 를 선택 후, 값을 붙여넣기 한다. 7. 소유확인 진행 다시 네이버 웹마스터 도구로 돌아와서 소유확인 버튼을 클릭한다. 봇 인지 확인하는 보안절차를 거치면 아래와 같은 팝업이 뜬다. 8. 등록 완료 아래와 같이 사이트가 등록된 것을 확인할 수 있다. Hive 사용할 때 Small File Merge 하기 하둡 분산파일시스템의 특성 하둡 분산파일시스템(HDFS) 은 블록이라는 단위로 파일을 관리합니다. 이 블록의 디폴트 설정값은 128MB 이며, 하나의 큰 파일을 HDFS 에 저장했을 때 블록의 크기 만큼 여러개의 파일로 나누어져 여러대의 서로 다른 노드에 분산 저장됩니다. 하나의 블록 크기가 상대적으로 큰 값을 가지는 이유는, 하둡 이라는 플랫폼이 큰 데이터를 빠르게 처리하기 위해 최적화 되어 있기 때문입니다. 하지만, HDFS 에 작은 크기의 파일들이 많아지게 되면, 데이터를 처리할 때 성능도 저하되며 NameNode 에서 관리할 메타정보의 크기가 커지면서 여러가지 측면에서 바람직하지 않습니다. 이러한 현상은 비단 HDFS 뿐만 아니고, AWS 와 같은 클라우드 서비스에서 S3 와 같은 오브젝트 스토리.. Hadoop Resource Localization 파헤치기 하둡 클러스터를 온프레미스에서 운영하면서 발생했던 ResourceLocalizationService 관련 장애 하나를 소개해 드리려고 합니다. 장애 상황을 설명해 드리기 전에, YARN 의 ResourceLocalizationService 가 어떤 역할을 하는 서비스인지 살펴보겠습니다. YARN 애플리케이션 동작방식 위 그림은 YARN 에서 MapReduce 애플리케이션이 동작하는 순서를 도식화 해놓은 그림입니다. 왼쪽 상단의 MapReduce program 이 하나의 Job 으로 실행되면, 전체 클러스터의 리소스를 관리하는 ResourceManager 가 전체 클러스터 노드 중에서, 제출된 Job 의 Master 역할을 하게될 ApplicationMaster 를 선정하여 구동하게 되고, 실제 데이터를 .. Hadoop 3.1 트러블슈팅 사례공유 하둡 업그레이드 필요성 하둡 1 혹은 2 버전을 사용하고 계시다면, 하둡 3 로의 업그레이드를 고민하실 것 입니다. 하둡 3 의 주요 특성과 장점은 아래 글을 참고 하시면 됩니다. 업그레이드를 부르는 Hadoop 3.0 신규 기능 살펴보기 하둡 3 로의 업그레이드는 위 글에서와 같이 여러가지 장점이 있습니다. 필자의 경우에는, 늘어나는 다양한 데이터를 저장할 공간이 부족한 가운데, 두배의 저장공간 확보가 가능하다는 것이 가장 큰 메리트로 다가왔으며, 언젠가 해야할 숙원사업 처럼 생각하고 있던 것을 드디어 실행에 옮기게 되었습니다. 하둡 버전에 대한 고민과 업그레이드 전략 얼마전, 클라우데라와 호튼웍스가 합병되면서, 하둡 플랫폼의 버전과 라이센스에도 큰 변화가 있었습니다. 클라우데라의 CDH 와 HDP 를.. MySQL Workbench 에서 Error Code : 1175 (Safe update mode..) 에러 발생 시 해결방법 MySQL Workbench 사용 시 UPDATE, DELETE 등 구문을 사용할 때 아래와 같은 에러 메세지를 만나는 경우가 발생한다. Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column To disable safe mode, toggle the option in Preferences -> SQL Editor and reconnect. 데이터의 보호를 위해 설정되어 있는 Safe Update Mode 설정을 해제해 주면 되는데, 아래와 같이 해결하면 된다. Edit >> Preferences 메뉴 클릭 SQL Editor 설정에서 제일 아래쪽.. SK텔레콤, Hadoop DW 와 데이터 분석환경 구축사례 최근 하둡(Hadoop)을 중심으로한 오픈소스 빅데이터 플랫폼들의 동향을 살펴보면, Lamda Architecture 로 대변되는 실시간 데이터수집, 처리, 저장, 저장된 데이터의 배치처리, 처리된 데이터의 조회(분산 데이터베이스)의 각 영역에 기술적으로 성숙했다고 볼 수 있는 굵직굵직한 플랫폼들이 이미 자리를 잡은 모습입니다. 필자가 위 그림의 아키텍쳐와 거의 유사한 구성으로 사내 Network Management System 을 구현하던 시기(2012년)만해도 실시간 처리 플랫폼으로 마땅한 Reference 가 Storm 외에는 없었던 시기였지만, 지금은 Apache Spark 을 중심으로한 다양한 플랫폼들을 골라(?)쓸 수 있는 상황이 되었고, 기술적으로는 이미 포화상태가 아닌가 생각될 정도입니다... AWS EMR 클러스터 생성 시 Advanced Options 상세설명 EMR Cluster 를 Advanced Options 로 생성하면 아래와 같이 총 4단계의 과정을 거치게 됩니다. Step 1 : Software and Steps Step 2 : Hardware Step 3 : General Cluster Settings Step 4 : Security 아래는 각 단계별 옵션 값들에 대한 상세설명 내용입니다. EMR 서비스 검색 AWS Console 에서 “EMR” 로 검색 EMR 클릭 좌측 Clusters 메뉴 클릭 Create cluster 클릭 Go to advanced options 클릭 Step 1: Software and Steps 첫번째 단계에서는 EMR 클러스터의 S/W 버전과 클러스터 생성 후 실행할 Application 에 대한 설정(Optional.. 이전 1 2 3 다음
