Neatly Build

Hexagonal Architecture

2023-04-05T00:00:00+00:00

소프트웨어 아키텍처의 개요와 육각형(Hexagonal) 아키텍처 패턴에 대해 설명한다.

소프트웨어 아키텍처 개요

소프트웨어 아키텍처는 소프트웨어를 쉽게 개발, 배포, 운영, 유지보수 하기 위한 방법이다. 소프트웨어 아키텍처의 목표는 시스템을 제대로 동작하도록 만드는 것이 아니다. 형편 없는 아키텍처를 갖춘 시스템도 수없이 많지만 그런대로 잘 동작한다. 이러한 시스템들은 대체로 운영에서는 문제를 겪지 않는다. 운영 보다는 배포, 유지보수, 계속되는 개발 과정에서 어려움을 겪는다. 소프트웨어 아키텍처는 처음부터 모든 것을 완벽하게 설계하는 것이 아니고, 세부적인 결정을 뒤로 미루고 쉽게 조정할 수 있도록 하는 것이다.

소프트웨어는 행위(behavior)와 구조(structure)에서 두 가지 가치를 제공한다.

행위적 가치

고객을 위해 기계가 수익을 창출하거나 비용을 절약하도록 한다. 고객의 요구사항을 구체화하고, 기계가 이러한 요구사항을 수행하도록 코드를 작성한다.
구조적 가치(아키텍처)

소프트웨어는 부드러운(soft) 제품(ware)의 합성어이다. 소프트웨어를 만든 이유는 기계(하드웨어)의 행위를 쉽게 변경할 수 있도록 하기 위해서다. 고객이 기능에 대한 생각, 즉 요구사항을 바꾸면 쉽게 소프트웨어를 변경할 수 있어야 한다.

둘 중 구조적 가치가 더 중요하다. 완벽하게 동작하지만 수정이 아예 불가능한 프로그램과 동작은 하지 않지만 변경이 쉬운 프로그램이 주어진다고 하면, 첫 번째 프로그램은 요구사항이 변경될 때 동작하지 않게 되고, 결국 프로그램이 돌아가도록 만들 수 없게 된다. 즉 이러한 프로그램은 쓸모가 없다. 두 번째 프로그램을 수정하면 돌아가게 만들 수 있고, 변경사항이 발생하더라도 여전히 동작하도록 유지보수 할 수 있다. 따라서 이러한 프로그램은 앞으로도 계속 유용한 채로 남을 것이다.

선택사항 열어두기

소프트웨어를 부드럽게 유지하는 방법은 선택사항을 가능한 한 많이, 그리고 가능한 한 오랫동안 열어 두는 것이다.

소프트웨어는 정책(policy)과 세부사항(detail) 두 가지 구성요소로 분해할 수 있다.

정책

모든 비즈니스 로직을 구체화 하는 것이다. 정책은 시스템이 제공하는 핵심 가치가 들어 있는 곳이다.
세부사항

사람, 외부 시스템, 프로그래머가 정책과 소통할 때 필요한 요소지만, 정책이 가진 행위에는 조금도 영향을 미치지 않는다. 이러한 세부사항에는 입출력 장치, 데이터베이스, 웹 시스템, 서버, 프레임워크, 통신 프로토콜 등이 있다.

예를 들면,

개발 초기에는 데이터베이스 시스템을 선택할 필요가 없다. 상위 레벨의 정책은 어떤 종류의 데이터베이스를 사용하는지, 텍스트 파일을 사용할지 신경 써서는 안된다.
개발 초기에는 웹 서버를 선택할 필요가 없다. 상위 레벨의 정책은 자신이 웹을 통해 전달된다는 사실을 알아서는 안된다. 심지어는 시스템이 웹을 통해 전송할 것인지조차도 결정할 필요가 없다.
개발 초기에는 REST를 적용할 필요가 없다. 상위 레벨의 정책은 외부 세계로의 인터페이스에 대해 독립적이어야 하기 때문이다.
개발 초기에는 프레임워크를 결정할 필요가 없다. 개발 성숙도가 높아지면 프레임워크로부터 독립할 수도 있다.

세부사항을 신경 쓰지 않고 상위 레벨의 정책을 만들 수 있다면, 이러한 세부사항에 대한 결정을 연기할 수 있다. 이를 통해 다양한 실험을 시도해 볼 수 있는 선택지도 열어 둘 수 있다. 현재 동작하고 있는 일부 상위 레벨 정책이 있고, 이들 정책이 데이터베이스에 독립적이라면 다양한 데이터베이스를 후보에 두고 그 적용 가능성과 성능을 검토해 볼 수 있다. 통신 프로토콜도 마찬가지다.

소프트웨어 아키텍처는 처음부터 모든 것을 완벽하게 설계하는 것이 아니고, 세부적인 결정을 뒤로 미루고 쉽게 조정할 수 있도록 하는 것이다.

육각형(Hexagonal) 아키텍처

Alistair Cockburn이 2005년 소개한 소프트웨어 아키텍처. 다음과 같은 목표를 정의하였다.

애플리케이션은 유저, 다른 애플리케이션 및 자동화 된 테스트 환경에서 동동하게 제어할 수 있어야 한다. 비즈니스 로직은 UI, REST API 또는 테스트 프레임워크에서 호출되는지 여부에 차이가 없다.
비즈니스 로직은 데이터베이스, 다른 인프라 및 서드파티 시스템과 격리하여 개발하고 테스트 할 수 있어야 한다. 비즈니스 로직 관점에서 데이터가 관계형 데이터베이스, NoSQL 시스템, XML 파일 혹은 자체 바이너리 포맷으로 저장되는지 여부는 차이가 없다.
인프라 업그레이드(데이터베이스 서버 업그레이드, 외부 인터페이스 변경에 대응, 라이브러리 업그레이드 등)는 비즈니스 로직을 조정하지 않고도 가능해야 한다.

포트와 어댑터

육각형 아키텍처는 포트와 어댑터 아키텍처라고도 한다.

비즈니스 로직(육각형 아키텍처에서 애플리케이션이라고 함)을 외부 세계로부터 분리하는 것은 그림과 같이 포트와 어댑터를 통해 이루어진다.

포트는 기계적 및 전기적 프로토콜을 준수하는 어떤 장치가 연결될 수 있는 전기적 연결점을 의미한다. 어댑터는 서로 다른 프로토콜을 사용하는 장치를 연결하기 위해 전기적 연결을 변환해 주는 것을 의미한다.

애플리케이션은 아키텍처의 코어에 있고, 외부 세계와 통신하기 위한 인터페이스(포트)를 정의한다. 포트는 API, 사용자 인터페이스 혹은 다른 애플리케이션에 의해 제어되고, 데이터베이스, 외부 인터페이스 및 기타 인프라를 제어한다.

애플리케이션은 포트만 알고 있고, 포트 인터페이스만 참조하여 구현된다. 기술적 세부 사항은 포트 뒤에 있으며, 애플리케이션과는 상관이 없다.

외부 컴포넌트에 대한 연결은 어댑터에 의해 제공된다. 예시를 보자.

유저가 UI를 통해 제어
유저가 REST API를 통해 제어
외부 앱이 2와 동일한 REST API를 통해 제어
애플리케이션에서 데이터베이스를 제어
애플리케이션에서 서드파티 API를 통해 외부 애플리케이션을 제어

예를 들어, UI는 회원 가입 양식을 제공할 수 있다. 사용자가 모든 데이터를 입력하고 ‘Submit’을 클릭하면 UI 어댑터가 ‘Register User’ 명령을 생성하여 애플리케이션으로 보낸다. 혹은 HTTP POST 요청에 의해 REST 어댑터에서 동일한 명령을 생성할 수 있다.

애플리케이션의 반대편에서는 데이터베이스 어댑터가 ‘Save User’ 명령을 ‘INSERT INTO User VALUES (…)’과 같은 SQL 쿼리로 변환할 수 있다.

어댑터가 어떤 데이터베이스를 사용하는지, 어떤 버전에서 이 작업을 수행하는지는 애플리케이션 코어의 관점에서는 상관이 없다.

하나의 포트에 여러 어댑터가 연결될 수 있다. 위의 예와 같이 UI 어댑터와 REST 어댑터를 모두 포트에 연결하여 애플리케이션을 제어할 수 있다. 그리고 알림을 보내기 위한 포트에는 이메일 어댑터, SMS 어댑터, 메신저 어댑터가 연결되어 있을 수 있다.

위의 예에서 두 가지 유형의 포트와 어댑터, 즉 애플리케이션을 제어하는 포트와 어댑터와 애플리케이션에 의해 제어되는 포트를 보았다. 첫 번째 유형의 포트를 입력(inbound), 주(primary) 혹은 드라이빙(driving) 포트 및 어댑터라고 하고 일반적으로 육각형의 왼쪽에 표시한다. 두 번째 유형의 포트를 출력(outbound), 부(secondary) 혹은 드리븐(driven) 포트 및 어댑터라고 하며 일반적으로 육각형의 오른쪽에 표시한다.

종속성 규칙

기술적인 세부 사항 및 라이브러리가 애플리케이션에 영향을 주지 않도록 하기 위한 종속성 규칙이 있다.

종속성 규칙은 모든 소스 코드 종속성이 외부에서 내부로, 즉 육각형에서 애플리케이션 방향으로만 가리킬 수 있음을 의미한다.

왼쪽에 있는 입력 포트의 경우 클래스 및 관계성을 매핑 하는 것이 매우 간단하다.

사용자 등록 예제의 경우 다음 클래스와 같이 아키텍처를 구현할 수 있다.

RegistrationController는 어댑터이고, RegistrationUseCase 인터페이스는 입력 포트를 정의하며, RegistrationService는 포트에서 명세한 기능을 구현한다.

소스 코드 종속성은 RegistrationController에서 RegistrationUseCase로 이동하며, 코어를 향한다.

interface RegistrationUseCase {
  Register();
}

class RegistrationService : RegistrationUseCase {
  @Override
  Register() {
    // do registration
  }
}

class RegistrationController {
  RegistrationUseCase registration;
  
  ProcessRegister() {
    registration.Register();
  }
}

그러나 오른쪽에 있는 출력 포트와 어댑터, 즉 소스 코드 종속성이 호출 방향과 반대 방향이어야 하는 경우는 어떻게 구현해야 할까. 예를 들어 데이터베이스가 코어 외부에 있고 소스 코드 종속성이 코어로 전달되는 경우 애플리케이션 코어가 데이터베이스에 어떻게 엑세스 할 수 있을까

여기서 종속성 반전(dependency inversion) 원리가 적용된다.

종속성 반전

출력 포트에서도 포트는 인터페이스로 정의된다. 그러나 클래스 간의 관계성은 역전 된다.

PersistanceAdapter는 PersistancePort를 사용(use)하는 것이 아니고 구현(implement)한다. 그리고 RegistrationService는 PersistencePort를 구현(implement)하는 것이 아니고 사용(use) 한다.

interface PersistancePort {
  SaveRegistration();
}

class PersistanceAdapter : PersistancePort {
  @Override
  SaveRegistration() {
    // save to DB
  }
}

class RegistrationService : RegistrationUseCase {
  PersistencePort persistence;

  Register() {
    persistence.SaveRegistration();
  }
}

종속성 반전 원리를 사용하여 호출 방향과 반대 되는 출력 포트 및 어댑터에 대한 소스 코드 종속성의 방향을 선택할 수 있다.

테스트

좋은 아키텍처의 요구 사항 중 하나는 ‘격리되어 테스트 할 수 있는 컴포넌트’를 제공하는 것이다. 육각형 아키텍처를 사용하면 애플리케이션을 쉽게 테스트 할 수 있다.

테스트는 입력 포트를 통해 애플리케이션을 호출할 수 있다.
출력 포트는 애플리케이션 쿼리에 응답하는 스텁 혹은 애플리케이션에서 보낸 이벤트를 기록하는 등 테스트 환경에 연결될 수 있다.

다음 그림은 데이터베이스에 대한 테스트 환경을 만들어 출력 데이터베이스 포트에 연결하고(Arrange), 입력 포트에서 애플리케이션을 호출하고(Act), 포트의 응답 및 데스트 환경과의 상호작용(Assert)을 확인하는 유닛 테스트를 보여 준다.

애플리케이션을 어댑터와 격리하여 테스트할 수 있을 뿐만 아니라 어댑터를 애플리케이션과 격리하여 테스트할 수도 있다.

다음 그림은 REST 어댑터에 대한 유닛 테스트를 보여준다. 입력 포트에 대한 테스트 환경을 생성하고, REST를 통해 HTTP POST 요청을 REST 어댑터로 보내고, 마지막으로 HTTP 응답 및 상호작용을 확인한다(Assert).

다음은 데이터베이스 어댑터에 대한 유닛 테스트를 보여준다. 테스트 컨테이너를 사용하여 데이터베이스를 시작하고(Arrange), 데이터베이스 어댑터에 있는 메소드를 호출하고(Act), 마지막으로 리턴값과 데이터베이스의 변경 내용이 예상과 같은지 여부를 확인한다(Assert).

육각형 아키텍처의 장점

확장

어댑터나 인프라를 변경하지 않고도 애플리케이션 코어를 수정할 수 있다.
애플리케이션에서 단 한 줄의 코드도 변경하지 않고 인프라를 교체할 수 있다. 해당 어댑터만 조정하면 된다.
애플리케이션 코어 개발부터 시작하여 인프라에 대한 결정을 미뤄둘 수 있다. 애플리케이션 개발 과정에서 얻을 경험을 통해 사용할 인프라(프레임워크, 데이터베이스 등)에 대한 더 나은 결정을 내릴 수 있다.

격리

애플리케이션은 순수하게 비즈니스 로직만 다룬다.
모든 기술적 문제들은 입력 및 출력 포트에서 구현된다.
애플리케이션 코어와 어댑터는 포트에 의해 격리되며, 애플리케이션 코어는 그 뒤에 숨겨진 기술적 세부사항을 알 필요 없이 포트와 상호작용한다.
격리를 통해 코드의 책임을 지역화 할 수 있으므로, 아키텍처 경계가 흐려질 위험이 크게 줄어든다.

개발

애플리케이션 포트가 정의되면 각 컴포넌트(코어, UI, 데이터베이스, 통신 등)에 대한 작업을 여러 개발자 간에 쉽게 나눌 수 있다.

테스트

테스트 환경을 사용하여 모든 컴포넌트를 완전히 격리 된 상태로 테스트 할 수 있다.

육각형 아키텍처의 단점

포트와 어댑터를 정의하고 유지하기 위한 추가 작업이 필요하다.

References

Robert C. Martin, 클린 아키텍처, 인사이트, 2019
https://www.happycoders.eu/software-craftsmanship/hexagonal-architecture/

Python PyPI 저장소 한국 미러 서버 설정

2021-03-22T00:00:00+00:00

Python pip 저장소를 한국(Kakao Corp.) 미러 서버로 설정하는 방법을 설명한다.

설정 파일 경로

Linux

/etc/xdg/pip/pip.conf 파일 생성 및 수정

Windows

C:\ProgramData\pip\pip.ini 파일 생성 및 수정

pip 저장소 설정

[global]
index-url=http://ftp.daumkakao.com/pypi/simple
trusted-host=ftp.daumkakao.com

GitHub 대용량 Push 문제 해결

2021-03-18T00:00:00+00:00

GitHub에 대용량 파일을 Push 할 때 발생하는 문제를 해결한다.

Problem

기존 Git 저장소를 GitHub에 Migration 할 때, 한번에 2GB 이상, 한 파일당 100MB 이상의 파일을 Push 하려고 하면 거부되며, 아래와 같은 에러 메시지를 볼 수 있다.

remote: error: GH001: Large files detected. You may want to try Git Large File Storage - https://git-lfs.github.com.
remote: error: Trace: 00e28c536177c44a0d5eae**********
remote: error: See http://git.io/iEPt8g for more information.
remote: error: File your-lar-file is 181.94 MB; this exceeds GitHub's file size limit of 100.00 MB

remote: fatal: pack exceeds maximum allowed size
fatal: the remote end hung up unexpectedly

Solution

Commit을 나눠서 Push

git push origin master~10000:refs/heads/master
git push origin master:refs/heads/master
git push origin refs/heads/*
git push origin --tags

Commit 로그에서 용량이 큰 파일 삭제

BFG Repo-Cleaner 사용

https://rtyley.github.io/bfg-repo-cleaner/

Warning: 파일이 삭제 된 Commit의 hash 값이 변경된다.

e.g. Commit 로그에서 100MB 이상의 파일을 삭제

java -jar bfg-1.14.0.jar --strip-blobs-bigger-than 100M

udev

2020-12-30T00:00:00+00:00

udev는 /dev 노드를 동적으로 생성하고 이를 위한 규칙을 관리하는 시스템 서비스이다. libudev(-ludev)를 사용하여 udev 객체에 접근하고, udev 이벤트를 모니터링 할 수 있다.

Examples

Enumerate block devices

#include <libudev.h>

int main(int argc, char* argv[]) {
  struct udev* udev;
  struct udev_enumerate* enumerate;
  struct udev_list_entry* devices;
  struct udev_device* dev;

  // Create the udev object
  udev = udev_new();
  if (!udev) {
    ESF_LOG_ERROR(kTag, "Cannot create udev");
  }

  // Create the enumerator object
  enumerate = udev_enumerate_new(udev);

  // Create a list of the devices
  udev_enumerate_add_match_subsystem(enumerate, "block");
  udev_enumerate_add_match_property(enumerate, "DEVTYPE", "partition");
  udev_enumerate_scan_devices(enumerate);
  devices = udev_enumerate_get_list_entry(enumerate);

  // For each entry enumerated, add to device_list
  struct udev_list_entry* entry;
  udev_list_entry_foreach(entry, devices) {
    const char* path;
    const char* node;

    path = udev_list_entry_get_name(entry);
    dev = udev_device_new_from_syspath(udev, path);
    node = udev_device_get_devnode(dev);

    // To do something for each devices

    udev_device_unref(dev);
  }

  // Free the enumerator object
  udev_enumerate_unref(enumerate);

  // Free the udev object
  udev_unref(udev);
  
  return 0;
}

Monitor block devices

#include <libudev.h>

int main(int argc, char* argv[]) {
  struct udev* udev;
  struct udev_device* dev;
  struct udev_monitor* mon;
  int fd;

  // Create the udev object
  udev = udev_new();
  if (!udev) {
    ESF_LOG_ERROR(kTag, "Cannot create udev");
  }
  
  // Set up a monitor to monitor devices
  mon = udev_monitor_new_from_netlink(udev, "udev");
  udev_monitor_filter_add_match_subsystem_devtype(mon, "block", "partition");
  udev_monitor_enable_receiving(mon);

  // Get the file descriptor for the monitor
  fd = udev_monitor_get_fd(mon);

  fd_set fds;
  int ret;
  struct timeval timeout = {0};

  while (self->monitor_running_) {
    FD_ZERO(&fds);
    FD_SET(fd, &fds);
    timeout.tv_sec = 5;
    timeout.tv_usec = 0;

    ret = select(fd + 1, &fds, NULL, NULL, &timeout); // change to blocking IO
    if (ret > 0 && FD_ISSET(fd, &fds)) {
      dev = udev_monitor_receive_device(mon);
      if (dev) {
        const char* action = udev_device_get_action(dev);
        const char* node = udev_device_get_devnode(dev);

        if (strcmp("add", action) == 0) {
          // To do somthing for device added
        } else if (strcmp("remove", action) == 0) {
          // To do somthing for device removed
        }
        udev_device_unref(dev);
      }
    }
  }

  // Free the udev object
  udev_unref(udev);
  
  return 0;
}

Get mounted directory from block dev node

#include <mntent.h>

int main(ing argc, char* argv[]) {
  FILE* file;
  struct mntent* ent;

  file = setmntent("/etc/mtab", "r");
  if (file == nullptr) {
    std::cerr << "Cannot open /etc/mtab" << std::endl
  }

  // Find mounted directory of device node
  while (nullptr != (ent = getmntent(file))) {
    if (strcmp(ent->mnt_fsname, dev_node) == 0) {
      std::cout << "Dev " << dev_node << " Mounted to: " << ent->mnt_dir << std::endl;
      break;
    }
  }

  endmntent(file);
  return 0;
}

참고

Writing udev rules

Light Media Scanner

2020-11-26T00:00:00+00:00

LMS(Light Media Scanner)는 임베디드 시스템에 사용하기 위한 가벼운 미디어 스캐너이다.

디렉토리를 최적화된 방법으로 재귀적으로 스캔하고, Child 프로세스에서 파서를 처리하여 파서에 문제가 발생했을 때 메인 프로세스가 종료되지 않게 한다. 파서는 Shared Object 형태의 플러그인이며, 스캐너를 다시 컴파일할 필요 없이 쉽게 추가할 수 있다.

SQLite3를 사용하여 파일의 mtime 관련 정보를 저장하고 files라는 마스터 테이블에 파일 id를 관리한다. 애플리케이션은 SQLite3 데이터베이스에 엑세스 하여 스캔 된 미디어에 대한 모든 정보를 얻을 수 있다. 사용자는 SQLite3 엑세스 라이브러리(Python의 SQLObject, SQLAlchemy 및 Storm, Ruby의 Sequel 등)을 모두 사용할 수 있다.

Table: files

이 테이블은 파일 시스템 엔트리와 연관된 정보들, 수정 시간, 추가 혹은 삭제 시간, byte 크기 및 경로를 제공한다.

Columns:

id: 파일을 식별하는 고유한 값. 새로운 엔트리가 생성되면 자동으로 증가.
path: 파일의 전체 경로.
mtime: stat(2) st_mtime에 따른 파일의 마지막 수정 시간.
dtime: 파일이 더 이상 파일 시스템에 존재하지 않는 경우, lms_check()를 호출한 시간. 파일이 파일 시스템에 존재하면 이 필드의 값은 0.
itime: 파일이 데이터베이스에 추가된 시간. “오늘 추가된 파일” 등을 표시할 때 유용.
size: stat(2) st_size에 따른 파일의 byte 크기.
update_id: 마지막으로 파일을 수정했을 때의 update_id. 관련 내용은 lms_internal 테이블 참조.

Examples:

모든 파일의 경로 출력:
```
SELECT path FROM files;
```
파일 시스템에 존재하는 모든 파일의 경로 출력:
```
SELECT path FROM files WHERE dtime = 0;
```
지난 주 이전에 삭제된 모든 파일의 경로 출력($LASTWEEK는 현재 Unix 시간에서 7 * 24 * 60 * 60을 뺀 값):
```
SELECT path FROM files WHERE dtime > 0 AND dtime <= $LASTWEEK;
```
파일 시스템에 존재하는 파일 중 오늘 추가된 파일의 경로 출력($TODAY는 오늘 0시 0분의 Unix 시간 값):
```
SELECT path FROM files WHERE dtime = 0 AND itime >= $TODAY;
```

Note:

사용 가능한 미디어를 질의할 때는 항상 (dtime = 0)를 포함 해야 한다. LightMediaScanner는 파일 시스템에서 파일이 삭제 되어도 데이터베이스에서 엔트리를 삭제하지 않고, 파일이 삭제 되었음을 표시하는 플래그를 설정한다(dtime = time(NULL);). 이 동작은 이동식 미디어가 해제 후 재연결 되었을 때, path, mtime 및 size가 동일한 파일을 빠르게 복구할 수 있게 해준다.

Table: images

이미지 엔트리와 해당 속성들을 가지는 테이블. files 테이블과 JOIN을 수행하여 파일 속성들을 얻을 수 있다.

Columns:

id: 파일을 식별하는 고유한 값. files.id 설명 참조.
title: 타이틀(없으면 파일 이름으로부터 생성).
artist: 아티스트.
date: 생성 시간(Unix-time).한
width: 너비(pixel).
height: 높이(pixel).
orientation: image intended display orientation, EXIF Orientation과 동일.
gps_lat: GPS 위도 값(degree).
gps_long: GPS 경도(degree).
gps_alt: GPS 고도(meter).
dlna_profile: 이미지가 DLNA 프로파일과 일치하면 이 속성이 설정됨.
dlna_mime: 이미지가 DLNA MIME 타입과 일치하면 이 속성이 설정됨.

Examples:

파일 시스템에 존재하는 모든 이미지 파일의 경로 출력:

SELECT files.path
FROM images, files
WHERE files.id = images.id AND files.dtime = 0;

파일 시스템에 존재하는 이미지 파일 중 dlna_profile이 “image/jpeg”인 파일의 경로, 너비 및 폭 출력:

SELECT files.path, images.width, images.height
FROM images, files
WHERE files.id = images.id AND files.dtime = 0 AND dlna_mime = 'image/jpeg'

Tables: audios, audio_albums, audio_artists and audio_genres

오디오 파일 관련 테이블. 필수로 필요한 것은 audio 테이블이며, audio에서 앨범(audio_albums 참조), 아티스트(audio_artists 참조) 및 장르(audio_genres)를 가질 수 있다. 파일 속성들은 files 테이블과 JOIN을 수행하여 얻을 수 있다.

audios Columns :

id: 파일을 식별하는 고유한 값. files.id 설명 참조.
title: 타이틀(없으면 파일 이름으로부터 생성).
album_id: 앨범을 식별하는 고유한 값. audio_albums 테이블과 연관됨.
artist_id: 아티스트를 식별하는 고유한 값. audio_artists 테이블과 연관됨.
genre_id: 장르를 식별하는 고유한 값. audio_genres 테이블과 연관됨.
trackno: 앨범 내의 트랙 번호.
rating: 사용자 평점(“별점” 혹은 “좋아요” 등을 의미. 연령 제한 등급과 혼동하지 말것).
playcnt: 플레이 횟수.
length: 길이(second).
container: 파일 타입(“asf”, “mp4” 등).
codec: 오디오 코덱(“mpeg1layer3”, “mpeg4aac-main” 등).
channels: 오디오 채널 갯수(모노는 1, 스테레오는 2 등).
sampling_rate: 오디오 샘플링 속도(44100, 48000 등).
bitrate: 샘플 당 평균 bit 수(32000, 8000 등).
dlna_profile: 오디오가 DLNA 프로파일과 일치하면 이 속성이 설정됨.
dlna_mime: 오디오가 DLNA MIME 타입과 일치하면 이 속성이 설정됨.

audio_artists Columns:

id: 아티스트를 식별하는 고유한 값. audios.artist_id 설명 참조.
name: 아티스트 이름.

audio_albums Columns:

id: 앨범을 식별하는 고유한 값. audios.album_id 설명 참조.
artist_id: 아티스트를 식별하는 고유한 값. audio_artists 테이블과 연관됨.
name: 앨범 이름.

audio_genres Columns:

id: 장르를 식별하는 고유한 값. audios.genre_id 설명 참조.
name: 장르 이름.

Examples:

파일 시스템에 존재하는 모든 오디오 파일의 경로 출력:

SELECT files.path
FROM audios, files
WHERE files.id = audios.id AND files.dtime = 0;

파일 시스템에 존재하는 모든 오디오 파일의 경로, 타이틀, 아티스트, 앨범 및 장르 이름 출력:

SELECT files.path, audios.title, audio_artists.name, audio_albums.name, audio_genres.name
FROM audios, files, audio_artists, audio_albums, audio_genres
WHERE files.id = audios.id AND files.dtime = 0
   AND audio_artists.id = audios.artist_id
   AND audio_albums.id = audios.album_id
   AND audio_genres.id = audios.genre_id

Table: videos, videos_audios, videos_subtitles, videos_videos

비디오 파일 관련 테이블. 필수로 필요한 것은 video 테이블이며, video에서 여러 개의 비디오, 오디오 및 자막 스트림을 가질 수 있다. 파일 속성들은 files 테이블과 JOIN을 수행하여 얻을 수 있다.

videos Columns:

id: 파일을 식별하는 고유한 값. files.id 설명 참조.
title: 타이틀(없으면 파일 이름으로부터 생성).
artist: 아티스트.
length: 길이(second).
container: 파일 타입(“asf”, “mp4” 등).
dlna_profile: 비디오가 DLNA 프로파일과 일치하면 이 속성이 설정됨.
dlna_mime: 비디오가 DLNA MIME 타입과 일치하면 이 속성이 설정됨.

videos_audios Columns:

id: 오디오 스트림을 식별하는 고유한 값.
video_id: 비디오를 식별하는 고유한 값. videos.id 설명 참조.
stream_id: 비디오 내의 스트림 식별값.
lang: 언어(“en”, “pt”, “es” 등).
codec: 오디오 스트림 코덱(“mpeg1layer3”, “mpeg4aac-main” 등).
channels: 오디오 채널 갯수(모노는 1, 스테레오는 2 등).
sampling_rate: 오디오 샘플링 속도(44100, 48000 등).
bitrate: 샘플 당 평균 bit 수(32000, 8000 등).

videos_subtitles Columns:

id: 자막 스트림을 식별하는 고유한 값.
video_id: 비디오를 식별하는 고유한 값. videos.id 설명 참조.
stream_id: 비디오 내의 스트림 식별값.
lang: 언어(“en”, “pt”, “es” 등).
codec: 자막 스트림 코덱(“srt”, “ssa”, “sub” 등).

videos_videos Columns:

id: 비디오 스트림을 식별하는 고유한 값.
video_id: 비디오를 식별하는 고유한 값. videos.id 설명 참조.
stream_id: 비디오 내의 스트림 식별값.
lang: 언어(“en”, “pt”, “es” 등).
codec: 비디오 스트림 코덱(“mpeg4-simple-l1”, “mpeg4-main-l4” 등).
aspect_ratio: 문자열로 인코딩 된 화면 비율(“4:3”, “16:9” 등).
bitrate: 샘플 당 평균 bit 수(500000, 800000).
framerate: 초당 프레임 수(30.0, 29.94, 60.0 등).
interlaced: 인터레이스인 경우 1.
width: 너비(pixel).
height: 높이(pixel).

Examples:

파일 시스템에 존재하는 모든 비디오 파일의 경로 출력:

SELECT files.path FROM videos, files WHERE files.id = videos.id AND files.dtime = 0;

비디오에 있는 모든 오디오 스트림 출력:

SELECT videos_audios.id, videos_audios.stream_id, videos_audios.lang, videos_audios.codec,
    videos_audios.channels, videos_audios.sampling_rate, videos_audios.bitrate
FROM videos_audios WHERE videos_audios.id = $VIDEOID

Table: lms_internal

내부적으로 테이블들의 버전을 관리하기 위한 테이블. 어떤 테이블이 수정되면 이 테이블에서 해당 테이블의 버전이 수정된다.

Update ID

tab = 'update_id'는 전역 update_id 정수값을 가리키는 특별한 행이다. 이 정수값은 lms_process() 또는 lms_check() 함수가 데이터베이스를 수정하거나, 파일을 추가, 수정 및 삭제할 때마다 증가한다. 사용자는 이 값을 사용하여 컨텐츠를 동기화 할 수 있다.

컨텐츠를 동기화 하는 가장 단순한 방법은 데이터베이스에 질의할 때마다 전역 변수로 update_id 값을 저장하고, 이 전역 변수가 변경되면 모든 질의를 다시 실행하는 것이다.

보다 효율적인 방법은 데이터베이스 질의를 update_id > $OLD_UPDATE_ID로 제한하여 수행하고 결과를 이전 것과 병합하는 것이다. 이 방법을 위해서는 최소한 file.id를 저장해야 하며, 이를 사용하여 수정된 엔트리를 업데이트 하고, 파일이 파일 시스템에서 사라졌는지를 확인하기 위한 files.dtime을 읽고, 새로 추가된 결과가 정렬 기준에 맞게 적절하게 삽입되도록 할 수 있다.

Build

1 Configuration

./autogen.sh $CONFIGURE_FLAGS --prefix=/home/root/lms --with-dbus-services=/home/root/.local/share/dbus-1/services

2 Build

make

3 Install

make DESTDIR="$PWD/install" install

4 Result

install
└── home
    └── root
        ├── .local
        │   └── share
        │       └── dbus-1
        │           └── services
        │               └── org.lightmediascanner.service
        └── lms
            ├── bin
            │   ├── lightmediascannerctl
            │   └── lightmediascannerd
            ├── include
            │   ├── lightmediascanner.h
            │   ├── lightmediascanner_charset_conv.h
            │   ├── lightmediascanner_db.h
            │   ├── lightmediascanner_plugin.h
            │   └── lightmediascanner_utils.h
            └── lib
                ├── liblightmediascanner.la
                ├── liblightmediascanner.so -> liblightmediascanner.so.0.5.1
                ├── liblightmediascanner.so.0 -> liblightmediascanner.so.0.5.1
                ├── liblightmediascanner.so.0.5.1
                ├── lightmediascanner
                │   └── plugins
                │       ├── asf.la
                │       ├── asf.so
                │       ├── audio-dummy.la
                │       ├── audio-dummy.so
                │       ├── dummy.la
                │       ├── dummy.so
                │       ├── flac.la
                │       ├── flac.so
                │       ├── id3.la
                │       ├── id3.so
                │       ├── jpeg.la
                │       ├── jpeg.so
                │       ├── m3u.la
                │       ├── m3u.so
                │       ├── ogg.la
                │       ├── ogg.so
                │       ├── pls.la
                │       ├── pls.so
                │       ├── png.la
                │       ├── png.so
                │       ├── rm.la
                │       ├── rm.so
                │       ├── video-dummy.la
                │       ├── video-dummy.so
                │       ├── wave.la
                │       └── wave.so
                └── pkgconfig
                    └── lightmediascanner.pc

Database

기본 DB 경로

~/.config/lightmediascannerd/db.sqlite3

SQLite3

select * from files;

DBus 서비스

/usr/share/dbus-1/services/org.lightmediascanner.service

DBus 서비스 정의 파일에서 LMS 데몬 경로 및 스캔을 위한 카테고리 디렉토리 지정

[D-BUS Service]
Name=org.lightmediascanner
Exec=/usr/bin/lightmediascannerd -D picture:/home/root/Pictures -D audio:/home/root/Music

Daemon

Options

Application Options:
  -p, --db-path=PATH                     Path to LightMediaScanner SQLit3 data base, defaults to "~/.config/lightmediascannerd/db.sqlite3".
  -c, --commit-interval=NUMBER           Execute SQL COMMIT after NUMBER files are processed, defaults to 100.
  -t, --slave-timeout=SECONDS            Number of seconds to wait for slave to reply, otherwise kills it. Defaults to 60.
  -d, --delete-older-than=DAYS           Delete from database files that have 'dtime' older than the given number of DAYS. If not specified LightMediaScanner will keep the files in the database even if they are gone from the file system and if they appear again and have the same 'mtime' and 'size' it will be restored ('dtime' set to 0) without the need to parse the file again (much faster). This is useful for removable media. Use a negative number to disable this behavior. Defaults to 30.
  -V, --vacuum                           Execute SQL VACUUM after every scan.
  -S, --startup-scan                     Execute full scan on startup.
  --omit-scan-progress                   Omit the ScanProgress signal during scans. This will avoid the overhead of D-Bus signal emission and may slightly improve the performance, but will make the listener user-interfaces less responsive as they won't be able to tell the user what is happening.
  -C, --charset=CHARSET                  Extra charset to use. (Multiple use)
  -P, --parser=CATEGORY:PARSER           Parsers to use, defaults to all. Format is 'category:parsername' or 'parsername' to apply parser to all categories. The special parsername 'all' declares all known parsers, while 'all-category' declares all parsers of that category. If one parser is provided, then no defaults are used, you can pre-populate all categories with their parsers by using --parser=all-category.
  -D, --directory=CATEGORY:DIRECTORY     Directories to use, defaults to FreeDesktop.Org standard. Format is 'category:directory' or 'path' to apply directory to all categories. The special directory 'defaults' declares all directories used by default for that category. If one directory is provided, then no defaults are used, you can pre-populate all categories with their directories by using --directory=defaults.

Controller

Usage

Usage:
	lms/bin/lightmediascannerctl <action>

Action is one of:
	status          print server properties and exit.
	monitor         monitor server and its properties.
	write-lock      try to get a write-lock and keep it while running.
	scan [params]   start scan. May receive parameters as a series of 
	                CATEGORY:PATH to limit scan.
	stop            stop ongoing scan.
	help            this message.

Status

lightmediascannerctl status

Scan

lightmediascannerctl scan

Scan 범위 지정

데몬 실행 시 정의한 카테고리 디렉토리 및 그 하위 디렉토리만 설정 가능

lightmediascannerctl scan picture:/home/root/Pictures

References

Ubuntu Own Configuration

2019-10-07T00:00:00+00:00

Ubuntu 설치 후 필요한 패키지와 설정들

Package

Numix Theme

https://numixproject.github.io

sudo add-apt-repository ppa:numix/ppa
sudo apt update
sudo apt install numix-gtk-theme numix-icon-theme-circle numix-folders

Tilix Terminal

https://gnunn1.github.io/tilix-web

sudo add-apt-repository ppa:webupd8team/terminix
sudo apt update
sudo apt install tilix

Set Tilix to Default Terminal

sudo update-alternatives --config x-terminal-emulator

Reminna

https://remmina.org

sudo apt-add-repository ppa:remmina-ppa-team/remmina-next
sudo apt update
sudo apt install remmina remmina-plugin-rdp remmina-plugin-secret remmina-plugin-spice

Barrier

https://github.com/debauchee/barrier

sudo add-apt-repository ppa:jonathonf/barrier
sudo apt update
sudo apt install barrier

RestrictedFormats

https://help.ubuntu.com/community/RestrictedFormats

sudo apt install ubuntu-restricted-extras

Configuration

Serial Device Group

Serial 장치(/dev/tty*) 사용 시 권한 문제로 장치 접근이 되지 않을 때, 아래와 같이 유저를 dialout 그룹에 추가하면 된다.

sudo usermod -a -G dialout <username>

로그아웃 후 다시 로그인이 필요하다.

Enabling i-search in Terminal

터미널에서 Ctrl + r로 명령어 역방향 검색 reverse-i-search 기능을 사용 가능하다.

그 반대로 정방향 검색 i-search 기능을 사용하려면 아래 라인을 .bashrc에 추가한다.

stty -ixon

단축키는 Ctrl + s이다.

Enabling Process Attaching in GDB

보안을 위해 일반 사용자에게는 프로세스의 메모리나 실행 상태를 들여다보는 것이 제한되어 있다. 이 제한을 해제하기 위해서 /etc/sysctl.d/10-ptrace.conf 파일을 열어 kernel.yama.ptrace_scope 값을 0으로 수정한다.

시스템 파일이기 때문에 수정하기 위해서는 root 권한이 필요하다. 아래 명령어로 변경 사항을 적용한다.

sudo sysctl -p --system

Cppcheck MISRA-C:2012

2019-09-20T00:00:00+00:00

Cppcheck는 C/C++ 코드를 정적 분석해주는 오픈 소스 툴이다. 본 글에서는 Cppcheck를 사용해 MISRA-C 코딩 표준을 적용하여 C/C++ 코드를 정적 분석하는 방법에 대해 설명한다.

개요

Cppcheck 1.88 이상이 필요하다. MISRA 적용을 위한 --addon 커맨드라인 옵션이 1.88 부터 제공되기 때문이다.

Ubuntu 환경에서 소스 코드를 다운로드 받아 직접 빌드하여 사용하였다.

현재 Cppcheck에서 지원하는 MISRA 코딩 표준은 MISRA-C:2012 이다.

다운로드

Cppcheck 소스 코드는 아래 SourceForce 혹은 GitHub에서 다운로드 받을 수 있다.

https://sourceforge.net/projects/cppcheck/
https://github.com/danmar/cppcheck

빌드 & 설치

readme.txt 참조하여 아래와 같이 CMake를 사용하여 빌드하였다.

$ cd cppcheck-1.89
$ mkdir build
$ cd build
$ cmake --build ..
$ sudo make install

cppcheck 실행 파일이 /usr/local/bin 디렉토리에 설치된다.

실행

--addon 옵션을 사용하여 MISRA 체크 규칙을 적용할 수 있다.

$ cppcheck --addon=misra.json somefile.c

misra.json 파일은 아래와 같이 작성한다.

{
    "script": "/usr/local/src/cppcheck-1.89/addons/misra.py",
    "args": [ "--rule-texts=./misra-rules.txt" ]
}

MISRA는 오픈 표준이 아니기 때문에 Cppcheck는 Rule 번호만 표시하고, Rule에 대한 설명은 표시하지 않는다.

Rule 설명을 모두 표시하려면 Rule Text 파일을 사용자가 직접 작성해주어야 한다. 전체 Rule Text는 구글 검색으로 찾을 수 있지만 Cppcheck에서 인식하는 포맷으로 편집해주어야 한다.

Rule Text 포맷은 다음과 같다.

Here can be any text.

Incorrect definitions:
Appendix A
Appendix A Summary:

Rule 1.1
Error!

Here we go:
Appendix A Summary of guidelines

Rule 1.2
Rule text.

Stop parsing after this line:
Appendix B

Rule 1.3
Error!

References

http://cppcheck.sourceforge.net/
http://cppcheck.sourceforge.net/misra.php

디버거에서 시그널 무시하기

2019-08-06T00:00:00+00:00

Linux 환경에서 디버거 사용 시, 시그널에 의한 Trap을 무시하는 방법을 설명한다.

GDB

process handle SIGTERM -n true -p true -s false

LLDB

handle SIGTERM nostop

make install 위치 지정

2018-11-22T00:00:00+00:00

make install 설치 디렉토리를 변경하는 방법

DESTDIR 변수를 지정한다.

make DESTDIR=$PWD/install install

References

https://www.gnu.org/software/make/manual/make.html#DESTDIR

Windows 탐색기에서 .gitignore 파일 생성

2018-07-12T00:00:00+00:00

Windows 탐색기에서 ‘.’으로 시작하는 파일을 생성하려면

e.g. .gitignore.