AWS EMR Cluster 생성 시 Starting 에서 멈추는 경우 해결

현상

AWS 에서 EMR Cluster 를 생성할 때, 아래와 같이 Starting 상태에서 멈추는 경우가 발생할 수 있다.

 

로그 확인

다양한 원인이 있을 수 있는데, 먼저 의심을 해봐야 하는 부분은 내가 사용하는 AWS account 의 ServiceQuota 가 EMR Cluster 를 생성할 때 필요한 만큼 부여되어 있는지 확인하는 부분이다.

 

먼저 Starting 상태에서 Instance 가 Provisioning 되지 않는 경우에는, CloudTrail 을 통해서 로그 확인을 해볼 수 있다.

아래와 같이 CloudTrail > Event history 메뉴로 가서, Event name 을 RunInstances 로 검색하고 User name 부분에 내가 로그인한 유저 정보와 시간정보로 EMR Cluster 관련 Event name 을 클릭한다.

 

클릭 후 아래쪽에 나오는 Event record 의 내용을 보면, 아래와 같은 원인을 찾을 수 있다.

“errorMessage”: “You have requested more vCPU capacity than your current vCPU limit of 640 allows for the instance bucket that the specified instance type belongs to. Please visit  http://aws.amazon.com/contact-us/ec2-request to request an adjustment to this limit.”

계정에 할당된 vCore 개수 640 를 초과해서 EMR 클러스터를 생성하려고 했기 때문에 에러가 발생했다는 의미이다.

문제 해결

문제를 해결하기 위한 두가지 방법 중 첫번째는 제한이 걸려있는 vCPU 수 (위의 경우 기본값인 640) 보다 적은 vCore 개수로 EMR Cluster 를 다시 생성하는 것이다. 하지만 이 방법은 원하는 방법이 아닐 확률이 높다.

 

두번째 해결 방법은 제한이 걸린 ServiceQuota 에 대해 증설을 AWS 로 요청하는 것이다.

 

EC2 를 클릭하고, 아래와 같이 Standard 로 검색하면 Spot Instance 와 On-Demand 인스턴스를 따로 따로 quota 증설 요청을 할 수 있다. 

클릭해서 Request quota increase 를 통해 원하는 개수만큼 신청을 하면된다.

 

증설 요청에 대한 적용

증설 요청을 하면, 바로 증설이 되는 것은 아니며 AWS 에서 요청 내용을 보고 승인이 진행된다. 다만, 무조건 적으로 요청한 만큼 늘려주는 것이 아니라 AWS 에서 평소 해당 계정의 리소스 사용량을 보고 요청에 대한 Reject 를 할 수도있다.

검토가 되고 답변이 달리는데 까지는 수시간에서 수일까지 다양한 편차가 존재한다.

 

승인이 완료된 경우라면 아래와 같이 상태가 원하는 크기만큼 증설(Applied quota value)이 적용되고 요청에 대한 상태(Status)가 Closed 인 것을 확인할 수 있다.