공유 메모리에 STL Container를 올리려고 하게 된 연유

현재 TCP를 통해 수신한 데이터를 처리하는 업무를 하고 있다.

프로그램의 구조는 크게 "수신단" 과 "처리단"으로 분리하여 처리한다.

하나의 프로그램 내에서 두개의 모듈로 나누는 방법과 두개의 프로그램으로 나누는 방법의 두가지를 고민하였다.

현재의 업무 요구사항은 수신데이터의 처리만을 제공한다.

그 데이터의 처리 결과를 반환하거나 할 필요가 없으며 반환할 수도 없다.

프로그램 구성의 단순화를 위해 수신단 프로그램(listener)와 처리단 프로그램(proc 혹은 finisher)로 구분하였다.

두개의 프로그램 간에는 공유메모리와 세마포를 사용하여 데이터를 주고 받는다.

수신단은 TCP 수신과 수신한 패킷을 여러 곳으로 분배하는 기능을 가진다.

처리단은 수신한 패킷을 데이터베이스에 저장하고 관련된 실질적인 업무를 처리하는 기능을 가진다.

처리단의 경우 업무 로직과 관련한 다양한 데이터를 메모리에 올리고 관리해야 했다.

따라서 쓰레드 방식으로 처리하고 관련 데이터는 전역으로 유지하도록 하였다.

수신단의 경우에는 단순 처리작업이므로 메모리를 많이 사용할 염려도 없으며 

특수한 경우 혹은 오류 상황에서 에러 범위를 최소화할 필요가 있다.

fork를 사용하여 프로세스를 늘리는 방식을 사용하였다.

최근 수신단에 추가 요구사항이 발생하였다.

수신 데이터 별로 분리하여 각기 다른 곳으로 발송해야 하는 이슈이다.

이 경우 초기에 데몬이 메모리상에 설정 데이터를 가지고 작업을 진행할 수 있다.

그러나 fork 방식의 경우 메모리까지 복제를 진행하므로 설정이 커질 경우 여러 이슈가 발생할 수 있다.

이에 따라 공유 메모리를 할당하고 그 공유메모리에 STL Container를 적용시켜 사용하는 방법을 고려하였다.

각 프로세스에서 공유메모리를 접근하는 경우 동시성 문제만 제외한다면 추가적인 부담은 거의 없는 편이다.

현재의 요구사항은 초기데몬에서 해당 메모리를 구축하면 나머지 프로세스들은 단순 읽기만을 수행한다.

동시성 문제가 발생하지 않는다.

물론 search 기능과 같은 경우 내부적인 전역변수의 문제로 동시성 문제가 발생할 수도 있다.

이 경우는 반드시 확인해야할 이슈이다.

선제적으로 확인해야 할 것은 STL Container를 공유메모리에 구축할 수 있는 것인가 하는 부분이다.

이와 관련된 자료를 찾았다.

다수의 프로세스에서 전역메모리를 공유하는 방식으로 생각해도 될 것이다.

관련 자료는 다음 포스트에서 보도록 하자.

...

ps. 공유메모리를 직접 관리하고 BTree를 구축하는 방법도 고려하였으나 구현 자체보다는 혹여 있을 버그를 고려하여 참았다.