yogae 블로그

AWS ElasticSearch를 사용하여 application 사용자의 행동을 분석하고 있다. pipeline은 pinpoint -> kinesis firehose -> elasticsearch 으로 구성하여 사용하고 있다. 사용자가 많지 않아 test용도로 ElasticSearch를 6개월 동안 t2.small.elasticsearch 인스턴스를 사용했다. 다른 설정을 변경하지 않고 AWS에서 제공하는 기본설정으로 사용했다. 기존에는 VPC안에 ElasticSearch를 설정하는 경우 Kinesis Firehose를 ES와 연결할 수 없었다. Kinesis Firehose를 사용하기 위해 public ElasticSearch로 구성하고 특정 ip만 접근가능하도록 SecurityGroup을 구성했다. ..

사용자에게 보여지는 url이 길다는 요구사항과 QR code를 생성하는 요구사항이 생겨서 shorten 서비스를 구현하게 되었다. shorten 서비스를 DB에 연결하여 구현할 수 있지만 최대한 관리의 부담을 줄이는 설계를 구성하고자 S3를 사용한 shortener를 구현했다. 리다이렉션 방법 HTTP 리다이렉트: header location을 사용하는 방법 HTML 리다이렉션: tag를 사용하는 방법 자바스크립트 리다이렉션: 자바스크립트 내에서 window.location 프로퍼티를 사용하는 방법 리다이렉션 우선 순위는 아래와 같다. 페이지가 읽힌 적도 없고 전송된 적도 없는 경우, HTTP 리다이렉트가 항상 먼저 실행됩니다. 어떤 HTTP 리다이렉트로 없는 경우에, HTML 리다이렉트가 실행됩니다. ..

install pip로 nltk를 설치한다. pip install nltk pip install numpy nltk는 pip로만 설치하여 사용할 수 없다. nltk에서 datasets/models는 따로 설치하고 되어있다. 파이썬 셸에서 ntlk.download() 함수를 실행하여 UI를 사용하여 설치할 추가 패키지를 선택할 수 있다. 명령어를 사용하는 것이 편해서 아래의 명령어를 사용하여 설치했다. sudo python -m nltk.downloader -d /usr/local/share/nltk_data "" /usr/local/share/nltk_data는 mac에서 nltk 패키지가 저장되는 위치이다. 다른 os를 사용하는 경우 Installing NLTK Data — NLTK 3.5 docume..

API Server에서 list를 불러오는 GET method를 구현하면서 매우 많이 양의 데이터가 list될 수 있는 상황이 생겨서 stream를 구현하게 되었다. server측 stream은 Node.js 내장 module에 stream이 구현되어 있어 쉽게 사용할 수 있다. const stream = require(‘stream’); stream은 4가지의 기본 type을 가진다. Writable: data를 쓸 수 있는 stream Readable: data를 읽을 수 있는 stream Duplex: Readable과 Writable 모두 할 수 있는 stream Transform: data를 수정하거나 변형할 수 있는 stream - Duplex stream이다. mongodb에서 cursor를..