본문으로 건너뛰기

데이터 관리

검색된 문서들을 바탕으로 상세히 설명드리겠습니다.

exemONE 데이터 보관 설정, Custom Stat, 수집 주기 관리 기능 상세 설명

1. 데이터 보관 설정 (Data Retention)​

1-1. 메뉴 접근 경로​

Setting > Management > Data > 보관 주기 탭

플랫폼별 데이터 테이블 목록을 확인하고, 보관 주기 및 테이블 보관 용량을 설정하여 수집 서버 디스크 용량을 관리합니다.

1-2. Categories (플랫폼 목록)​

순번항목내용
1Search플랫폼 이름을 검색합니다.
2Categories플랫폼 목록입니다.
3Usage TrendUsage Trend 슬라이드 디테일을 표시합니다.
4Table테이블 개수입니다.
5Size테이블이 사용하고 있는 현재 크기입니다.

1-3. Table List (테이블 목록)​

선택한 카테고리(플랫폼)에 등록된 테이블 리스트입니다.

순번항목내용
1Retention Setting선택한 테이블의 보관 주기를 설정합니다.
2Search컬럼의 데이터를 검색합니다.
3Check Box목록을 선택합니다. 선택한 목록의 보관 주기를 일괄 설정할 수 있습니다.
4Platform플랫폼 종류
5Table Name테이블 이름
6Size테이블이 사용하고 있는 현재 크기
7Retention (Day)보관 주기 (일 단위)
8Average Daily Usage (GB)하루 평균 사용 크기
9Maximum Daily Usage (GB)하루 최대 사용 크기
10Size Limit테이블의 Limit 정보
11Description테이블 설명

1-4. 보관 주기 변경 방법 (Retention Setting)​

Step 1. 보관 주기를 변경할 테이블의 체크박스를 선택합니다.

Step 2. [Retention Setting] 버튼을 클릭합니다.

Step 3. 보관 주기를 입력하여 변경합니다.

항목내용
Platform플랫폼 종류
Table Name테이블 이름
Description테이블 설명
Size테이블이 사용하고 있는 현재 크기
Retention (Day)보관 주기 (변경할 값 입력)
Average Daily Usage (GB)하루 평균 사용 크기
Maximum Daily Usage (GB)하루 최대 사용 크기
Size Limit테이블의 Limit 정보
Cancel보관 주기 설정을 취소합니다.
Apply보관 주기 설정을 적용합니다.

1-5. 신규 설치 및 패치 시 보관 주기 기본값​

  • 신규 설치 시 기본값: 보관 주기 90일, 테이블 보관 용량 10GB 로 적용됩니다.
  • 일부 테이블(등록정보 및 메타데이터)의 경우 영구 보존이 필요하여 보관 주기 기본값이 "제한 없음"으로 적용됩니다.

영구 보존 적용 메타테이블 예시:

altibase_literal_sql_text
altibase_normalized_sql_text
application_db_info
application_jvm_info
application_properties
aws_alarm
aws_ec2
aws_rds
clickhouse_literal_sql_text
clickhouse_normalized_sql_text
... 등

1-6. 적용 시점 및 주의사항​

Q. 데이터 보관 주기 및 크기 설정 시, 적용 시점은 어떻게 되나요?

A. 설정 변경은 즉시 적용됩니다. 단, 실제 데이터에 반영되기까지는 데이터 머지 작업 진행 속도에 따라 다소 시간이 소요될 수 있습니다.

주의: 보관 주기를 지정하지 않으면 데이터가 영구 저장되므로, 구축 후 일별 사용량을 체크하여 필요 시 디스크 증설 혹은 보관 주기 수정이 필요합니다.

1-7. Elasticsearch 인덱스 보관 주기 변경​

Elasticsearch를 사용하는 경우 curl 명령어로 보관 주기를 변경합니다.

Step 0. 인덱스 템플릿에 적용된 정책 확인:

curl -X GET "http://<ip>:<port>/_index_template/<인덱스 템플릿 명>?pretty"
# 예시
curl -X GET "http://10.10.43.195:9200/_index_template/exemone-log-v1?pretty"

Step 1. 정책 보관 주기 확인:

curl -X GET "http://<ip>:<port>/_ilm/policy/exemone-log-v1-policy?pretty"
# 결과를 파일로 저장
curl -X GET "http://<ip>:<port>/_ilm/policy/exemone-log-v1-policy?pretty" -o policy.json

Step 2. 결과 파일 수정 (보관 주기 변경):

"policy" 값만 남도록 in_use_by, version, modified_date 등을 제거 후 아래와 같이 수정:

{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_age": "1d",
            "max_size": "25gb"
          }
        }
      },
      "delete": {
        "min_age": "7d",
        "actions": {
          "delete": {
            "delete_searchable_snapshot": true
          }
        }
      }
    }
  }
}

2. Custom Stat (사용자 정의 지표)​

2-1. 개요 및 접근 권한​

메뉴 경로: Setting > Management > Custom Stat

SQL 또는 Shell Script를 통해 사용자가 직접 수집 지표를 생성하는 기능입니다.

항목내용
대상 OSLinux, Windows
수집 데이터 형식지표는 숫자로만 표현 가능
접근 권한Master, Admin 만 접근 가능
Shell Script 실행 조건Host Agent가 설치된 서버에서만 실행 가능
SQL 실행 조건Database 인스턴스가 등록된 경우 실행 가능
순번항목내용
1Custom StatShell Script 또는 SQL Script를 통해 사용자 지표를 생성합니다.
2Collection Schedule ManagementCustom Stat에서 생성한 지표를 수집하는 스케줄을 생성합니다.

2-2. Scripts to Create Stat (스크립트 생성 화면)​

순번항목내용
1New Script새로운 스크립트를 생성합니다.
2Create FolderScript Folder를 생성합니다.
3Search각 컬럼 정보로 Script를 검색합니다. (대소문자 구분 없음)
4Folder List저장된 Script 리스트를 출력합니다. Script가 실행 가능한 플랫폼을 아이콘으로 표시하며, Schedule이 등록된 경우 별도 아이콘으로 표시합니다.

2-3. 사용자 지표 등록 단계별 방법​

Step 1. 새로운 스크립트 생성

  • [New Script] 버튼 클릭하여 새로운 스크립트를 생성합니다.
  • 각 Script Type에 따른 기본 템플릿이 출력됩니다.

Step 2-3. Script Type 선택

  • SQL 또는 Shell Script 중 스크립트 형식을 선택합니다.
  • Oracle, MySQL, Linux/Unix 등 스크립트 실행 타겟 타입을 선택합니다.

Step 4. 스크립트를 실행할 타겟 선택

  • MySQL 관련 스크립트라면 MySQL 서버를, Linux 명령어라면 해당 OS를 실행 타겟으로 선택합니다.

Step 5. 스크립트 작성

  • 스크립트 결과값이 아래 형식으로 출력되도록 작성합니다.
  • 구분자 간 빈 칸(공백)이나 다른 문자가 없도록 작성합니다.
{결과값1} {구분자} {결과값2} ...

[예제 - Shell Script]

sleep 10
ifstat | grep en | awk '{print $2 "," $3}'

Step 6. Delimiter 작성

  • 스크립트로 실행되는 결과값의 구분자를 입력합니다.

쉼표(,) 또는 탭(\t) 등의 구분자를 사용할 수 있으며, 스크립트에서 구분자를 일관되게 적용해야 합니다.

Step 7. 스크립트 실행 테스트

  • [Run Test] 클릭하여, 선택한 Target과 작성한 Script를 실행합니다.
  • 실행 성공 시 Test Script 영역에 결과가 출력됩니다.
  • 실행 실패 시 에러 메시지가 표시됩니다.
Status내용
Finished정상적으로 데이터가 수집됨
Failed스크립트 오류 또는 타겟 연결 실패

3. 수집 주기 관리 (Collection Schedule / Metric Collection Cycle Management)​

exemONE의 수집 주기 관리는 크게 두 가지로 구분됩니다.

3-1. Custom Stat Collection Schedule Management​

메뉴 경로: Setting > Management > Custom Stat > Collection Schedule Management

Custom Stat에서 생성한 지표를 언제, 어떤 주기로, 어느 대상에서 수집할지 스케줄을 관리하는 기능입니다.

Collection Schedule List (목록 화면)​

순번항목내용
1RefreshCollection Schedule 목록을 새로고침합니다.
2Search각 컬럼 정보로 Collection Schedule을 검색합니다.
3Checkbox스케줄 목록을 선택하면 Move Group이 활성화됩니다. 그룹 이동에 사용합니다.
4View Mode- All: 모든 Collection Schedule 출력
- View Activated Only: 활성화 상태만 출력
- View Disabled Only: 비활성화 상태만 출력
5Add Schedule새 스케줄을 추가합니다.
6Move Group선택한 스케줄의 그룹을 이동합니다.
7Delete선택한 스케줄을 삭제합니다.

Collection Schedule List 컬럼 상세​

컬럼내용
Collection Schedule NameCollection Schedule 이름
Collected Target데이터를 수집하는 타겟
Deactivated Target수집 설정은 되어 있으나 비활성화 상태의 타겟
Collection Interval수집 주기
Timeout(sec)데이터 수집 타임아웃 시간
Last Collection Time마지막 데이터 수집 시간
Collection Log데이터 수집 현황 로그
Last Edit TimeCollection Schedule 마지막 수정 시간
ActivationCollection Schedule 활성화 상태
DescriptionCollection Schedule 설명

Add/Edit Collection Schedule (스케줄 추가/편집 화면)​

순번항목내용
1Schedule NameSchedule 이름을 입력합니다.
2DescriptionSchedule 설명을 입력합니다.
3Schedule GroupSchedule 그룹을 선택합니다.
4Collection Interval수집 주기를 선택합니다.
5Timeout수집 타임아웃을 설정합니다. 해당 시간이 초과할 경우 데이터가 수집되지 않습니다.
6Custom StatCustom Stat에서 생성한 수집 지표를 선택합니다. Stat Name이 목록으로 출력됩니다.
7Target데이터를 수집할 대상을 선택합니다. (Host 서버 혹은 DB 인스턴스)
8Run Test데이터 수집 테스트를 수행합니다. 하단 그리드에 수집 결과가 출력됩니다.
9Activate collection데이터 수집 활성화 여부를 설정합니다.

Run Test 결과 항목​

항목내용
Collection Time수집 시간
Collection Target수집 대상
Script Execution Result수집 스크립트 실행 결과
Message수집 결과 오류 메시지
Metric Validity수집된 값이 차트로 표현 가능한 숫자값인지 검증
Metric Mapping Value각 지표에 수집된 값 출력

3-2. Metric Collection Cycle Management (메트릭 수집 주기 관리)​

메뉴 경로: Setting > Management > Data > Metric Collection Cycle Management

데이터베이스 등 각 플랫폼 지표의 수집 주기(Interval) 및 타임아웃(Timeout) 을 설정합니다.

Collection Detail Slide​

순번항목내용
1TitleCollection 타이틀을 보여줍니다.
2Slide HistoryDetail Slide 이력
3Close클릭 시 Detail Slide가 닫힙니다.
4Information컬렉션 기본 정보
- Metric Collection Setting Name: 이름 정보
- Description: 설명 정보
5Set Targets메트릭 수집 설정(컬렉션)을 사용하고 있는 타겟 목록을 보여줍니다.
6Metric Setting메트릭 컬렉션에 설정된 메트릭 정보
- Collect Active: 활성화 여부
- Metric: 메트릭 목록
- Timeout(sec): 설정된 Timeout 정보
- Interval(sec): 설정된 Interval 정보
7Metric Collection Setting메트릭 수집 설정 화면
- Metric Collection Setting Information: 기본 정보
- Applied to N targets: 해당 수집 설정이 적용된 대상 안내
- Metric Setting: 메트릭 목록별 Collect Active, Timeout, Interval 설정

3-3. 지표 수집 주기 관리 설정 가이드 (Database)​

메뉴 경로: Setting > Database > 지표 수집 주기 관리

데이터베이스 지표 수집 주기는 2가지 방법으로 관리합니다.

관련 설정 가이드는 데이터베이스 별 (Oracle, PostgreSQL, MySQL, SQL Server 등) Figma 기획서와 함께 제공됩니다.

주요 수집 주기 관련 옵션 (DB Common Configuration)​

옵션내용
common.once_collect_at_startingAgent 시작 시 데이터 수집 여부 설정. 수집 주기가 일 단위로 긴 경우 초기 데이터 수집을 위해 사용합니다.
- true: Agent 동작 및 연결 시 데이터를 수집
- false: 지정된 수집 주기에 따라 데이터를 수집
common.cloud_metric_from_minuteCloud 환경에서 metric 수집 범위 from 시간 설정 (단위: 분, 기본 -5)
common.cloud_metric_to_minuteCloud 환경에서 metric 수집 범위 to 시간 설정 (단위: 분, 기본 0)

3-4. Cloud (AWS/Azure) 수집 주기 설정​

메뉴 경로: Setting > Platform > Cloud > Collector

클라우드 서비스별 수집 주기(Collection Cycle)를 설정합니다.

Add Collector (컬렉터 추가)​

항목내용
Collector Name컬렉터 이름
Region컬렉터가 수집할 서비스 리전 (동일 서비스 내 중복 리전 설정 불가)
Collection interval수집 주기 설정: 1분 / 5분 / 10분 / 15분 / 30분 간격으로 설정 가능
Collect All모든 매트릭에 대해 전체 수집 설정 또는 해제
Metric Setting매트릭 정보 Grid (Collect Active, Avg/Max/Min/Sum/Count 값 수집 여부 등)

3-5. Product Integration 수집 현황 확인​

메뉴 경로: Setting > Platform > Product Integration > Collection Data

지표를 수집하는 설정 정보를 확인합니다.

항목내용
Collection Unit Name수집 단위 명칭
Server지표의 타겟 서버 아이콘과 이름
Collection Interval (sec)제품별 인터벌 정의
Last Status Code가장 최근 상태의 API 요청 HTTP 코드
Collection Log시간대별 수집 로그
Activation지표의 수집 활성화 여부

4. 기능 흐름 요약​

[Custom Stat 지표 생성 흐름]
1. Setting > Management > Custom Stat > New Script
   → Script Type 선택 (Shell Script / SQL)
   → Target Type 및 Target 선택
   → 스크립트 작성 → Delimiter 입력 → Run Test
   → 저장

2. Setting > Management > Custom Stat > Collection Schedule Management > Add Schedule
   → Schedule Name/Group 설정
   → Collection Interval(수집 주기) 선택
   → Timeout 설정
   → Custom Stat 지표 선택
   → Target 선택
   → Run Test → 활성화 → 저장

5. 메뉴 경로 요약​

기능메뉴 경로
데이터 보관 주기 설정Setting > Management > Data > 보관 주기 탭
Retention Setting (보관 주기 변경)위 메뉴에서 테이블 선택 > [Retention Setting] 클릭
ES 인덱스 보관 주기 변경curl 명령어로 직접 변경
Custom Stat 지표 생성Setting > Management > Custom Stat > Custom Stat
수집 스케줄 관리Setting > Management > Custom Stat > Collection Schedule Management
메트릭 수집 주기 관리Setting > Management > Data > Metric Collection Cycle Management
Cloud 수집 주기 설정Setting > Platform > Cloud > Collector
수집 현황 확인Setting > Platform > Product Integration > Collection Data

참고 문서 URL​