본문 바로가기

분류 전체보기

(60)
Fluentd config directives, section directives fluentd 의 confiig 에서 최상에 있는 지시자를 뜻한다. , , , , , directives 설명@include section directives 아래에서 특별한 수행을 하는 기능을 section 이라고 한다. section 설명 combination table section 은 종류마다 사용될 수 있는 directives 가 구분되어 있다. sourcematchfiltersystemlabel@include parse O O O N/A buffer O N/A format O O N/A extract O O O N/A inject O O N/A transport O O O N/A storage O O O N/A service discovery O
Fluentd 설치 Fluentd 홈페이지 소개 https://docs.fluentd.org/installation 여러가지 방법에 대해 설명되어 있음 pre-install NTP 서버 구축 # 기존 ntpd 제거 systemctl stop ntpd systemctl disable ntpd yum remove ntp # chrony 설치 yum install chrony # 기존 서버 목록은 주석 처리 #server 0.rhel.pool.ntp.org iburst #server 1.rhel.pool.ntp.org iburst #server 2.rhel.pool.ntp.org iburst #server 3.rhel.pool.ntp.org iburst # 한국 공용 타임서버 목록 설정 server 1.kr.pool.ntp.or..
Fluentd 소개 Fluentd 아키텍쳐 Plugin Input 다양한 데이터 소스로 부터 log 를 수집하는 플러그인으로 대표적으로 HTTP, tail, TCP 등이 있다. Parser Input 내에서 사용할 수 있는 플러그인으로 입력된 데이터에 사용자가 원하는 방식으로 데이터를 파싱하기 위해 Regular expression, apache, nginx, syslog 등이 있다. Filter 데이터를 output 으로 보내기 전에 다음과 같은 기능을 한다. 필터링 데이터 필드 추가 데이터 필드 삭제 Buffer 필터링된 데이터를 바로 output 으로 보내지 않고 throttling 할 수 있다. 파일과 메모리 두가지 타입을 사용할 수 있으며, 내부적으로 chunk 단위로 관리된다. chunk 는 사이트별 혹은 시간별..
semi replication install master semi repl plugin mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so'; Query OK, 0 rows affected (0.01 sec) mysql> show variables like 'rpl%'; +-------------------------------------------+------------+ | Variable_name | Value | +-------------------------------------------+------------+ | rpl_semi_sync_master_enabled | OFF | | rpl_semi_sync_master_timeout | 10000 ..
mysql admin script 설치하고 테스트 할때 사용할 스크립트 (xtradb cluster 겸용) MYSQL_HOME=$HOME/mysql ROOT_PASSWD=iamroot OWNER=$USER IP=127.0.0.1 PORT=3306 NODE_NAME=`hostname` SERVER_ID=1 BASEDIR=$MYSQL_HOME DATADIR=$BASEDIR/data TMPDIR=$BASEDIR/tmp LOGDIR=$BASEDIR/log ETCDIR=$BASEDIR/etc SOCKET_FILE=$TMPDIR/mysql.sock PID_FILE=$TMPDIR/${NODE_NAME}.pid LOG_ERROR_FILE=$LOGDIR/${NODE_NAME}.log GENERAL_LOG_FILE=$LOGDIR/${NODE_NAME}_g..
install mysql(percona) by tarball set limit for max open files # cat /etc/security/limits.conf root soft nofile 65536 root hard nofile 65536 user soft nofile 65536 user hard nofile 65536 적용 후 percona 를 설치하고 운영할 계정을 새로 로그인 한다. set env # mysql export MYSQL_HOME=$HOME/mysql export PATH=$PATH:$MYSQL_HOME/bin download package & link # connecthttps://www.percona.com/downloads/Percona-Server-LATEST/ # download Percona-Server-8.0.20-11-..
MySQL partition 관리 파티션 테이블 생성하기 drop table if exists test.T1; CREATE TABLE `T1` ( `symbol` varchar(45) NOT NULL, `unix_time` int(11) NOT NULL, PRIMARY KEY (`symbol`,`unix_time`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='partition table sample' PARTITION BY RANGE ( unix_time ) ( PARTITION p202001 VALUES LESS THAN ( 1577836800 ), PARTITION p202002 VALUES LESS THAN ( 1580515200 ), PARTITION p999999 VALUES LESS..
InnoDB on-disk structures Tables tablespace > segment ( unix file ) > extent > page Indexes Clusterd Index primary key 와 동의어 이기도 하다. clustered index 가 생성되어 있지 않다면 not null 이면서 unique index 를 pk 처럼 사용한다. auto-increment 를 대용으로 사용할 수 있다. pk, uk index 도 없다면 내부적으로 row id 사용하게 된다. 6 byte order insertion Secondary Indexes clustered index 를 제외한 모든 인덱스를 secondary index 라고 한다. secondary index 의 각 레코드는 clustered index 의 컬럼들을 함께 가지고..