yogae 블로그

VPC내에 ES를 사용하고 있다. VPC내 ES로 접근하기 위해서는 ssh tunneling을 사용하거나 proxy 서버를 구성하여 접근 해야한다. ES를 보고서를 작성할 때만 사용하고 있어서 많은 설정이 필요 없는 ssh tunneling으로 사용하고 있었다. 하지만 점점 사용 빈도가 늘어나면서 매번 tunneling을 하는 것이 귀찮아졌다. kibana에 개발자가 아닌 사람이 접속할 상황이 생기고 점점 tunneling을 관리하기가 어려워졌다. Amazon Cognito 인증으로 Kibana에 액세스하기 위해 SSH 터널 사용 위의 그림 처럼 tunneling을 사지 않고 proxy 서버를 통해 traffic이 VPC 내부에 있는 ES로 접근할 수 있도록 구성했다. ES에 접근 시 cognito의 l..

Python을 사용하여 행동 로그를 분석하고 있다. 스크립트를 작성하여 필요할 때마다 실행하여 분석 데이터를 수집하였다. 로그 데이터를 분석을 시작하니 정말 다양한 요구사항이 있었다. 이러한 요구사항에 따라 script를 작성하다보니 script가 많아졌고 많은 script를 관리해야하는 문제가 생겼다. 또한, script간의 순서가 생기면서 workflow를 정의하고 관리하는 일이 많아졌다. AWS에서 airflow를 관리형 서비스로 출시했다는 소식을 듣게 되었다. AWS의 관리형 airflow를 사용하면 좋지만 현재 python script를 관리의 목적 및 분석 workflow구성을 위해서만 사용하고 있어서 필요할 때마다 airflow를 local 환경에서 실행하여 사용하기로 했다. script를 ..

tagging을 사용하여 S3 lifecycle을 적용하는 방법과 고려해야할 사항들을 정리한다. lifecycle을 사용하여 특정 날짜나 기간을 기준으로 삭제 또는 스토리지 class변경이 가능하다. S3 스토리지 class 종류는 다양하다. 종류에 따라 용도가 다르고 비용도 달라 알맞은 스토리지 class를 사용해야한다. S3 스토리지 class 종류 S3 Standard 짧은 지연 시간 및 높은 처리량 성능 자주 액세스하는 데이터를 위해 높은 내구성, 가용성 및 성능을 갖춘 객체 스토리지 S3 Intelligent-Tiering 성능 영향 또는 운영 오버헤드 없이 가장 비용 효과적인 액세스 계층으로 데이터를 자동으로 이동하여 비용을 최적화하기 위해 설계 S3 Standard-IA(S3 Standard..

VPC내부에 설정된 서비스의 경우 외부 인터넷을 통해 통신할 수 없다. Amazon Neptune DB 클러스터는 VPC에서만 생성할 수 있다. local 환경에서 AWS Neptune과 통신하기 위해 EC2를 AWS Neptune DB 클러스터와 같은 VPC에 생성하고 리버스 프록시 서버로 설정했다. AWS Neptune DB 클러스터 endpoint는 https 프로토콜을 사용해야하여 Let's encrypt로 SSL 인증서를 생성하여 리버스 프록시 서버에 SSL 인증서를 등록했다. EC2에 nginx 설치 $ sudo vi /etc/yum.repos.d/nginx.repo # nginx.repo [nginx] name=nginx repo baseurl=http://nginx.org/packages/..