본문 바로가기

전체 글

프로젝트/버그, 성능개선 2024. 9. 25. postgresql INDEX를 활용한 성능 개선 ( 조회, 검색 ) 기존에 회사에 운영되던 호출 파트중에 170만건의 데이터를 조회하는 조회시 2~4초 정도 걸리던 쿼리가 존재하였다.    코드를 활용해 최대한 최적화에 도전 (총 가져오는 갯수를 줄여본다거나, 날짜의 제한을 두고 조회한다거나 ) 여러가지 도전을 해봤지만 드라마틱한 속도의 개선은 일어나지 않았다.     DB INDEX 마지막으로 도전해본건 DB 인덱스 작업이였다. (공식 홈페이지)https://www.postgresql.org/docs/current/indexes-intro.html 11.1. Introduction11.1. Introduction # Suppose we have a table similar to this: CREATE TABLE test1 ( id integer, content varc..
프로젝트/버그, 성능개선 2024. 9. 25. guincorn 메모리 누수 현상 해결하기 ( gunicorn memory leak ) 회사에서 운영하고있는 채점 서버 모니터링중에 메모리 사용 평균이이 비 정상적으로 높은것을 확인하였다.   원인 파악을 위해 각 채점서버에 접속해서 서버 상태를 파악해보기로 하였다. top 여기에서 이상한걸 발견할수 있었다. core=$(grep --count ^processor /proc/cpuinfo)n=$(($core*2))exec gunicorn --workers $n --threads $n --error-logfile /log/gunicorn.log --time 600 --bind 0.0.0.0:8080 server:app 기존에 gunicorn을 기동하는 코드는 각 cpu core수 *2 로 운영하기 떄문에 gunicorn이 5개 (마스터노드  1 + 워커 4) 로 운영되어야하는데 비정상적으로 ..
프로젝트/버그, 성능개선 2024. 2. 12. pinpoint django agent 적용하기 https://loy124.tistory.com/407 APM 도구 pinpoint 설치하기https://loy124.tistory.com/406 주요 APM 도구 분석하기 목적 개발을 진행하다보면 내가 남기는 로그와 부가 요소만으로는 성능 개선에 한계를 느끼는 경우가 많다. 따라서 실시간으로 애플리케이션의loy124.tistory.com(agent 전 사전 셋팅은 위 게시글을 참고한다.)     django 환경에서 pinpoint 를 적용하려고 보니 공식 github 제외하고 작성되어있는 자료가 없어 Django도 적용시킨후 작성해 보았다.  https://github.com/pinpoint-apm/pinpoint-c-agent GitHub - pinpoint-apm/pinpoint-c-agent: ..
프로젝트/버그, 성능개선 2024. 2. 11. spring boot pinpoint agent 설치하기 https://loy124.tistory.com/407 APM 도구 pinpoint 설치하기 https://loy124.tistory.com/406 주요 APM 도구 분석하기 목적 개발을 진행하다보면 내가 남기는 로그와 부가 요소만으로는 성능 개선에 한계를 느끼는 경우가 많다. 따라서 실시간으로 애플리케이션의 loy124.tistory.com spring boot에 agent를 설치하려고한다. agent 외에 pinpoint에 대한 내용은 위 내용을 참고하면 된다. 먼저 위 블로그에 작성한 버전과 같은 2.5.3 을 사용하기로 하였다. 환경 Ubuntu 20.04 https://github.com/pinpoint-apm/pinpoint/releases/download/v2.5.3/pinpoint-agen..
프로젝트/버그, 성능개선 2024. 2. 10. APM 도구 pinpoint 설치하기 https://loy124.tistory.com/406 주요 APM 도구 분석하기 목적 개발을 진행하다보면 내가 남기는 로그와 부가 요소만으로는 성능 개선에 한계를 느끼는 경우가 많다. 따라서 실시간으로 애플리케이션의 성능을 모니터링 해주는 Application Performance Managem loy124.tistory.com 주요 APM 도구에 대해 분석을 한 후 어떤 APM을 쓸까하다가 최종적으로 핀포인트를 설치하기로 결정했다. 먼저 오늘 기준 최신 버전인 v2.5.3에 맞춰서 설치하기로 하였다. 환경 Ubuntu 20.04 Docker Version 18.04 + Pinpoint는 크게 4가지로 나뉘어져 있다. pinpoint agent - 어플리케이션의 데이터를 수집해서 collector에 전..
프로젝트/버그, 성능개선 2024. 2. 3. 주요 APM 도구 분석하기 목적 개발을 진행하다보면 내가 남기는 로그와 부가 요소만으로는 성능 개선에 한계를 느끼는 경우가 많다. 따라서 실시간으로 애플리케이션의 성능을 모니터링 해주는 Application Performance Management (APM) 툴을 도입해서 사용한다. 사용하는이유는 목적은 크게 다음과 같다. 성능 모니터링 트랜잭션 추적 서비스간 연동 분석 국내에서 많이 사용하는 APM 툴에 대해 간단하게 분석해봤다. 각 APM별 사용하는 용어는 조금씩 다르나 동작하는 기능이 비슷해서 이렇게 부르겠다. ServerMap - 구성요소를 시각화 해서 시스템 이해 CallStack - 분산환경의 모든 트랜잭션에 대해 시각화 및 병목및 장애지점 식별 Inspecture - CPU 사용, 메모리/가비지 수집 핀포인트 http..
Java/jpa 2024. 1. 21. JPA Entity soft delete 활용하기 데이터베이스에서 데이터를 삭제하는 방법 hard delete (물리 삭제) 실제로 delete query를 날려서 데이터베이스에서 실제로 삭제하는 방법이다. soft delete (논리 삭제) 실제로 데이터베이스에서 데이터를 삭제하는것이 아닌 삭제 여부 컬럼을 추가해서 삭제 되었음을 나타내는 방법 삭제를 하더라도 데이터를 보관해야하는 경우 논리삭제를 활용한다.(유저 정보및 결제내역 등) JPA에서 soft delete 하기 먼저 Soft Delete를 위한 준비를 하겠다. entity 종류 Member Boad Member.java @Entity @Table (name = "member") @NoArgsConstructor(access = AccessLevel.PROTECTED) @Getter @SQLD..
Docker, CI/쿠버네티스 2023. 7. 23. 쿠버네티스 공부하기 3 - yaml 파일을 활용한 deploy/service 하기 https://loy124.tistory.com/402 쿠버네티스 공부하기 2 - 간단하게 deploy/service 하기 https://loy124.tistory.com/400 쿠버네티스 공부하기 1 - minikube 설치하기 쿠버네티스를 공부하기로 시작한 계기는 아무래도 내가 회사에서 개발 + 운영및 배포를 다같이 하면서 필요성에 의해 공부를 시 loy124.tistory.com 이전 시간에는 커맨드를 활용한 deploy/service를 진행해 보았다. 이제 해당 커맨드 -> 파일을 활용해 현재 어떤 상태인지 파일로 관리하게 하겠다. 이제 yaml 파일을 작성하고 해당 yaml을 쿠버네티스에서 읽어서 활용해 보는 시간을 가지겠다. 만약에 이전 글에서 실습한 내용이 남아있다면 kubectl delet..

티스토리툴바