본문 바로가기

전체 글

프로젝트/미니 프로젝트 2025. 5. 11. 서로 다른 클라우드 서버를 VPN으로 묶어 쿠버네티스 구축하기 (2) - containerd, kubeadm 설치및 셋팅하기 https://loy124.tistory.com/416 서로 다른 클라우드 서버를 VPN으로 묶어 쿠버네티스 구축하기 (1) - VPN 설정계기 현재 회사에 자체 서버도 있고, 외부 업체에 호스팅을 맡긴 서버도 있으며, 클라우드로 운영하는 서버들도 있다. 이제 운영하다 보니 각 서버별로 관리 방식과 접근 방식이 제각각이라, 모loy124.tistory.com 1편 현재 VPN을 사용해 하나의 네트워크를 묶은 상태이고 이제 각 서버마다 쿠버네티스 관련 설정을 해주면된다.(docker와 쿠버네티스에서 사용할 containerd는 따로따로 구동된다.) containerd, kubeadm 설치하기 https://loy124.tistory.com/400 쿠버네티스 공부하기 1 - minikube 설치하기..
프로젝트/회사 및 외주 프로젝트 2025. 5. 11. 서로 다른 클라우드 서버를 VPN으로 묶어 쿠버네티스 구축하기 (1) - VPN 설정 계기 현재 회사에 자체 서버도 있고, 외부 업체에 호스팅을 맡긴 서버도 있으며, 클라우드로 운영하는 서버들도 있다. 이제 운영하다 보니 각 서버별로 관리 방식과 접근 방식이 제각각이라, 모니터링, 보안 정책 적용, 사용자 접근 제어 등에서 점점 관리의 불편함을 느끼기 시작했다.현재 서버 현황A 서버 : 회사 자체 서버 -성능이 가장 좋음 ( Ubuntu20.04 )B 서버 : 외부 업체에 호스팅을 맡긴 서버 - 한곳에서 docker 기반으로 여러 사이트 운영중- ( Ubuntu20.04 )C, D 서버 : 운영중인 클라우드 서버 (CentOS 7, 3버전대 커널) 위와같다. 이제 이런 서비스들을 각 쿠버네티스를 통해 관리하고싶은데, 서로 다른 네트워크로 분산되어 있기 때문에 기본적인 쿠버네티스간 통신이 ..
프로젝트/미니 프로젝트 2025. 5. 6. spring boot + apache kafka 를 활용한 미니 채팅앱 만들어보기(3) - socket.io를 활용한 채팅 구현하기 https://loy124.tistory.com/414 spring boot + apache kafka 를 활용한 미니 채팅앱 만들어보기(2) - spring boot 에서 producer, consumer 구현하https://loy124.tistory.com/413 spring boot + apache kafka 를 활용한 미니 채팅앱 만들어보기(1) - kafka 개요 및 테스트Apache Kafka kafka는 분산 스트리밍 플랫폼으로서 메시지큐 역할을 할 수 있는 시스템이다.대loy124.tistory.com https://github.com/loy124/kafka-chat-server/tree/v1.0.0 GitHub - loy124/kafka-chat-serverContribute to lo..
프로젝트/미니 프로젝트 2025. 5. 5. spring boot + apache kafka 를 활용한 미니 채팅앱 만들어보기(2) - spring boot 에서 producer, consumer 구현하기 https://loy124.tistory.com/413 spring boot + apache kafka 를 활용한 미니 채팅앱 만들어보기(1) - kafka 개요 및 테스트Apache Kafka kafka는 분산 스트리밍 플랫폼으로서 메시지큐 역할을 할 수 있는 시스템이다.대규모 실시간 데이터 스트림을 안정적으로 처리할수 있는장점이 있다. message queue 는 뭘까? 발신자(Producer)loy124.tistory.com 이제 위 내용을 기반으로 간단한 test-chat-room 이라는 토픽을 만들어서 해당 데이터를 저장하고 받아오는식으로 진행할 예정이다.카프카에 데이터 전송하기 클라이언트 → [ChatController] → [ChatService] → [ChatKafkaProducer] → ..
프로젝트/미니 프로젝트 2025. 5. 5. spring boot + apache kafka 를 활용한 미니 채팅앱 만들어보기(1) - kafka 개요 및 테스트 Apache Kafka kafka는 분산 스트리밍 플랫폼으로서 메시지큐 역할을 할 수 있는 시스템이다.대규모 실시간 데이터 스트림을 안정적으로 처리할수 있는장점이 있다. message queue 는 뭘까? 발신자(Producer)가 전송한 메시지를 임시로 저장해 두었다가수신자(Consumer)가 필요한 시점에 꺼내 처리할수 있도록 해주는 중간 버퍼(큐) 시스템이다.비동기 처리: 발신자와 수신자가 동시에 동작하지 않아도 된다.신뢰성: 메시지를 유실 없이 저장하고 전달한다.버퍼링: 처리량 차이를 흡수해 서비스 안정성을 높인다.확장성: 여러 Consumer를 두어 병렬 처리할 수 있다.시스템 간 결합도 감소: 서비스들을 느슨하게 연결해 유지보수성이 좋아진다. 그럼 왜 쓸까?사실 이게 가장 중요하다. ..
프로젝트/버그, 성능개선 2024. 9. 25. postgresql INDEX를 활용한 성능 개선 ( 조회, 검색 ) 기존에 회사에 운영되던 호출 파트중에 170만건의 데이터를 조회하는 조회시 2~4초 정도 걸리던 쿼리가 존재하였다.    코드를 활용해 최대한 최적화에 도전 (총 가져오는 갯수를 줄여본다거나, 날짜의 제한을 두고 조회한다거나 ) 여러가지 도전을 해봤지만 드라마틱한 속도의 개선은 일어나지 않았다.     DB INDEX 마지막으로 도전해본건 DB 인덱스 작업이였다. (공식 홈페이지)https://www.postgresql.org/docs/current/indexes-intro.html 11.1. Introduction11.1. Introduction # Suppose we have a table similar to this: CREATE TABLE test1 ( id integer, content varc..
프로젝트/버그, 성능개선 2024. 9. 25. guincorn 메모리 누수 현상 해결하기 ( gunicorn memory leak ) 회사에서 운영하고있는 채점 서버 모니터링중에 메모리 사용 평균이이 비 정상적으로 높은것을 확인하였다.   원인 파악을 위해 각 채점서버에 접속해서 서버 상태를 파악해보기로 하였다. top 여기에서 이상한걸 발견할수 있었다. core=$(grep --count ^processor /proc/cpuinfo)n=$(($core*2))exec gunicorn --workers $n --threads $n --error-logfile /log/gunicorn.log --time 600 --bind 0.0.0.0:8080 server:app 기존에 gunicorn을 기동하는 코드는 각 cpu core수 *2 로 운영하기 떄문에 gunicorn이 5개 (마스터노드  1 + 워커 4) 로 운영되어야하는데 비정상적으로 ..
프로젝트/버그, 성능개선 2024. 2. 12. pinpoint django agent 적용하기 https://loy124.tistory.com/407 APM 도구 pinpoint 설치하기https://loy124.tistory.com/406 주요 APM 도구 분석하기 목적 개발을 진행하다보면 내가 남기는 로그와 부가 요소만으로는 성능 개선에 한계를 느끼는 경우가 많다. 따라서 실시간으로 애플리케이션의loy124.tistory.com(agent 전 사전 셋팅은 위 게시글을 참고한다.)     django 환경에서 pinpoint 를 적용하려고 보니 공식 github 제외하고 작성되어있는 자료가 없어 Django도 적용시킨후 작성해 보았다.  https://github.com/pinpoint-apm/pinpoint-c-agent GitHub - pinpoint-apm/pinpoint-c-agent: ..

티스토리툴바