티스토리

끄적끄적

검색하기

블로그 홈

끄적끄적

choelhee.tistory.com/m

크라우도 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[SecureCRT] word selection 을 putty 처럼 바꾸기 To change your word delimiters, follow these steps: In the Session Options dialog, go to the Terminal category. Select the Set word delimiter characters option. Enter your desired characters in the entry box. The PuTTY emulator application uses a different default set than SecureCRT. To switch to the PuTTY set, enter these characters in the delimiter characters box: ` ~!@#$%^&*()+=:;>,\[]{}|' No.. 공감수 1 댓글수 0 2022. 2. 14.
Byte alignment 하드웨어의 제약이나 성능상의 이유로 데이터들을 특정한 바이트 경계들에 맞게 배치한다. 이를 바이트 정렬(Byte alignment)라고 부른다. 이때 바이트 경계에 맞추기 위해서 객체의 자료 끝에 추가적인 바이트들을 채우게 된다. 32비트 ) 4bytes -> 2bytes -> 1byte 64비트 ) 8bytes -> 4bytes -> 2bytes -> 1byte Struct 에서도 같은 기준이 적용되는데 정렬기준을 찾을때는 구조체의 처음 멤버가 이닌 전체 멤버중에서 가장 큰 데이터 타입을 기준으로 정한다. 여기서 또 한가지 중요한것은 구조체 선언시 멤버들의 순서에 따라 바이트가 늘어 날 수 있다는 것인데 struct _test { char a; long b; chat c; } 는 (long 이 8바이트.. 공감수 0 댓글수 0 2021. 11. 16.
[ODBC] ODBC test 윈도우에서 ODBC 함수에 대한 간단한 테스트를 확인하기 위해서는 소스 및 컴파일러등 부수적인것들이 많이 필요하다. 매번 테스트할때 마다 준비하기는 불편한다. ODBCTest 라는 (https://www.progress.com/support/evaluation/download-resources/download-tools) 프로그램을 통해서 함수 단위로 테스트를 할 수 있다. 공감수 0 댓글수 0 2021. 11. 16.
[ODBC] SQLSetStmtAttr SQL_ATTR_PARAMS_PROCESSED_PTR insert 등을 수행하고 나서 처리된 건수를 나타내는 변수의 포인터, SQLExecute() 에서 SQL_SUNCCESS_WITH_INFO 나 나온 경우 SQL_ATTR_PARAM_STATUS_PTR 로 등록된 배열의 상태를 검사하여 SQL_PARAM_SUCCESS_WITH_INFO, SQL_PARAM_ERROR, SQL_PARAM_DIAG_UNAVAILABLE 일때 bad record 처리를 해야 한다. SQL_ATTR_ATOMIC_EXECUTION 은 goldilocks 에서만 지원하는 것인가?? 공감수 0 댓글수 0 2021. 11. 16.
[ODBC] SQLGetInfo Connection 의 여러 정보를 확인하기 위해 쓰이는 함수 DBMS 의 종류를 식별하기 위해 방법을 찾던 중 아래와 같이 할 수 있었음 SQLCHAR dbmsName[1024]; SQLCHAR dbmsVerName[1024]; SQLSMALLINT buffersize; retcode = SQLGetInfo(hdbc, SQL_DBMS_NAME, dbmsName, (SQLSMALLINT)1024, (SQLSMALLINT *)&buffSize); retcode = SQLGetInfo(hdbc, SQL_DBMS_VER, dbmsVerName, (SQLSMALLINT)1024, (SQLSMALLINT *)&buffSize); printf ("SQL_DBMS_NAME : %s\n", dbmsName); prin.. 공감수 0 댓글수 0 2021. 11. 16.
Doxygen 간단 사용법 정리 설치 sudo apt-get install doxygen graphviz doxygen -g doxygen Doxygen c 언어 기준 옵션정리 INPUT = /workspace/project_home INPUT_ENCODING = EUC-KR SOURCE_BROWSER = YES EXTRACT_ALL = YES OPTIMIZE_OUTPUT_FOR_C = YES OUTPUT_LANGUAGE = Korean OUTPUT_DIRECTORY = /workspace/project_home/doxygen HTML_TIMESTAMP = YES CALL_GRAPH = YES CALLER_GRAPH = YES LATEX_CMD_NAME = latex RECURSIVE = YES SOURCE_BROWSER = YES 공감수 0 댓글수 0 2021. 11. 3.
MySQL Lock metadata lock metadata lock 은 dql, dml, ddl 들의 조합에서 발생하는 테이블의 구조변경 시도에 따른 lock 이다. session 1) metadata lock 발생 mysql> start transaction; Query OK, 0 rows affected (0.00 sec) mysql> drop table t1; Query OK, 0 rows affected (0.02 sec) mysql> create table t1(i1 int primary key,i2 int ); insert into t1 values( 1,1 ); Query OK, 0 rows affected (0.03 sec) mysql> insert into t1 values( 1,1 ); commit; Q.. 공감수 0 댓글수 0 2021. 10. 13.
Pentaho 구조 및 특징 Architecture Characteristics Web-Based Components User Console Analyzer Interactive Reports Dashboard Designer CTools Data Source Wizard Data Source Model Editor Design Tools PAD (Pentaho Aggregation Designer) PME (Pentaho Metadata Editor) PRD (Pentaho Report Designer) PSW (Pentaho Schema Workbench) PDI (Pentaho Data Intergration) Comparison CheckList PDI (Pentaho Data Intergration) 대분류 소분류 Func.. 공감수 0 댓글수 0 2021. 10. 1.
Pentaho server 소개 pentaho di 툴의 repository 와 서버 역할을 한다. pentaho 에는 pentaho di 라는 웹 기반의 서버가 있는데 pentaho 에서는 이 서버를 slave 라 한다. master, slave, cluster 라는 개념이 있기 때문에 구분해서 정의를 내려야 한다.( 아직 파악하지 못함 ) client 툴에서 etl 을 작성하여 로컬에서 테스트 후에 repository 에 저장 후 paster, slave 에 실행을 하면 각 서버에 실행 정보가 절달이 되고 실행은 각 서버에서 수행 한다. 홈페이지에서 제공되는 메뉴얼로는 설치를 할 수 없었고, 인터넷어서 자료를 찾았지만 생각보다 많지 않았다. 현재도 repository 에 접속만 되었지 어느 기능까지 될지는 아직 모르고 따라서 .. 공감수 2 댓글수 0 2021. 10. 1.
Pentaho pan 정의 원격으로 tranformation 을 실행시키는 모듈이다. 설치 data-intergration( carte ) 설치시 bundle 로 들어가 있다. 설정 repository 를 다음처럼 두가지로 나뉠 수 있는데 이게 carte 하고는 또 다름.. kitchen 은 또 다름 file repository database repository 일반적으로 $HOME/.kettle/repository.xml 에 다수의 repository 를 등록할 수 있지만 pan.sh 은 CURRENT_PATH/repogitories.xml 을 인식함 repogitories.xml 의 내용은 carte 서버에서 설정한 $HOME/.kettle/repository.xml 과 동일하다. 실행 repository list [b.. 공감수 0 댓글수 0 2021. 10. 1.
Pentaho kitchen 정의 원격으로 job 을 실행시키는 모듈이다. 설치 data-intergration( carte ) 설치시 bundle 로 들어가 있다. 설정 pan 과 동일 general error random 적으로 발생(같은 명령어 반복시 발생) vfs 안쓰는데.. 어떻게 끄지? 객체를 vfs 단위로 취급하는듯 pentaho 9.1 cetified jdk version 은 jdk 8 (현재 환경과 같음) 미해결 https://jira.pentaho.com/browse/PDI-17149?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel 이미 등록된 버그 이지만 원인을 찾지 못하고 더 많은 cpu 와 ram 이 설치된 머신에서 문제가 없다고.. 공감수 0 댓글수 0 2021. 10. 1.
Pentaho carte server 정의 pentaho 는 모든 작업은 기본적으로 spoon.sh 이라는 client tool 에서 시작된다. 사용자가 execution 서버를 추가하는 경우 해당 작업을 넘길 수 있다. 이러한 서버를 carte 서버라고 한다. 서버의 구분은 다음과 같이 된다. master server slave server carte cluster 작업이 많지 않다면 master 만 사용하여 구축을 진행 한다. spoon 에서 구분할때는 모든 서버를 '슬레이브 서버' 로 통칭한다. 설치 jdk 8 pdi 9.1 기준 jdk 11 에서 정상동작하지 않음 설정 모든 메뉴얼에는 pentsho server repository 에 대한 기준으로 설명되어 있어 현재 설정인 database repository 와 조금 다르게 느껴지고.. 공감수 0 댓글수 0 2021. 10. 1.
Fluentd config copy (file to csv,json) log_level debug @type tail path /home/centos/workspace/apacheDummy/*.log pos_file /var/log/td-agent/apache2.access_log.pos @type apache2 refresh_interval 5 tag bos.trade.mob # # @type stdout # @type copy @type file path /data/text timekey 3600 time_slice_format %Y%m%d time_slice_wait 24h format csv fields host,method force_quotes false append true flush_interval 1 @type file path /data/json time.. 공감수 0 댓글수 0 2021. 10. 1.
Fluentd config Multi process workers 목적 fluentd 는 멀티 프로세스 를 지원한다. 감시 대상이 많고 멀티코어 환경이라면 worker process를 늘려 throughput 을 늘릴 수도 있다. 설정 공통 설정 # 2개의 worker process 생성 workers 2 # 아래는 ps 명령어 로 확인된 process 갯수 [root@tlog-transmit td-agent]# ps -ef | grep fluent root 6952 6245 5 04:26 pts/1 00:00:00 /opt/td-agent/bin/ruby /opt/td-agent/bin/fluentd -c td-agent.conf root 6957 6952 8 04:26 pts/1 00:00:01 /opt/td-agent/bin/ruby -Eascii-8bit:asc.. 공감수 0 댓글수 0 2021. 10. 1.
Fluentd config High Availability 목적 fluentd 의 가용성에 대한 부분인데 일반적인 가용성이 라면 fluentd 자체의 가용성을 의미 하지만 메뉴얼 상에서의 가용성이란 다음과 같다. 데이터를 수집하는 forwarder fluentd, forwarding 된 데이터를 로컬에 기록하는 aggregator fluentd 둘로 구분한다. 실제로 데이터를 수집하는 forwarder fluentd 에 대해서는 언급이 없으며 aggregator fluentd 를 active-stanby 로 구성하는 방안을 제시 한다. 처음 forwarder fluentd 의 가용성을 목적으로 자료를 찾아 보았지만 별다른 방법이 없다. 내용 forwarder fluentd 가 로그데이터를 수집하면 aggregator fluentd에게 전달 한다. aggregat.. 공감수 0 댓글수 0 2021. 10. 1.
Fluentd config source file @type tail path /data/access*.log tag debug.tail @type apache2 pos_file /data/fluentd.pos read_from_head true #asis_key message refresh_interval 5 공감수 0 댓글수 0 2021. 10. 1.
Fluentd config directives, section directives fluentd 의 confiig 에서 최상에 있는 지시자를 뜻한다. , , , , , directives 설명@include section directives 아래에서 특별한 수행을 하는 기능을 section 이라고 한다. section 설명 combination table section 은 종류마다 사용될 수 있는 directives 가 구분되어 있다. sourcematchfiltersystemlabel@include parse O O O N/A buffer O N/A format O O N/A extract O O O N/A inject O O N/A transport O O O N/A storage O O O N/A service discovery O 공감수 0 댓글수 0 2021. 10. 1.
Fluentd 설치 Fluentd 홈페이지 소개 https://docs.fluentd.org/installation 여러가지 방법에 대해 설명되어 있음 pre-install NTP 서버 구축 # 기존 ntpd 제거 systemctl stop ntpd systemctl disable ntpd yum remove ntp # chrony 설치 yum install chrony # 기존 서버 목록은 주석 처리 #server 0.rhel.pool.ntp.org iburst #server 1.rhel.pool.ntp.org iburst #server 2.rhel.pool.ntp.org iburst #server 3.rhel.pool.ntp.org iburst # 한국 공용 타임서버 목록 설정 server 1.kr.pool.ntp.or.. 공감수 0 댓글수 0 2021. 10. 1.
Fluentd 소개 Fluentd 아키텍쳐 Plugin Input 다양한 데이터 소스로 부터 log 를 수집하는 플러그인으로 대표적으로 HTTP, tail, TCP 등이 있다. Parser Input 내에서 사용할 수 있는 플러그인으로 입력된 데이터에 사용자가 원하는 방식으로 데이터를 파싱하기 위해 Regular expression, apache, nginx, syslog 등이 있다. Filter 데이터를 output 으로 보내기 전에 다음과 같은 기능을 한다. 필터링 데이터 필드 추가 데이터 필드 삭제 Buffer 필터링된 데이터를 바로 output 으로 보내지 않고 throttling 할 수 있다. 파일과 메모리 두가지 타입을 사용할 수 있으며, 내부적으로 chunk 단위로 관리된다. chunk 는 사이트별 혹은 시간별.. 공감수 0 댓글수 0 2021. 10. 1.
semi replication install master semi repl plugin mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so'; Query OK, 0 rows affected (0.01 sec) mysql> show variables like 'rpl%'; +-------------------------------------------+------------+ | Variable_name | Value | +-------------------------------------------+------------+ | rpl_semi_sync_master_enabled | OFF | | rpl_semi_sync_master_timeout | 10000 .. 공감수 0 댓글수 0 2021. 10. 1.
mysql admin script 설치하고 테스트 할때 사용할 스크립트 (xtradb cluster 겸용) MYSQL_HOME=$HOME/mysql ROOT_PASSWD=iamroot OWNER=$USER IP=127.0.0.1 PORT=3306 NODE_NAME=`hostname` SERVER_ID=1 BASEDIR=$MYSQL_HOME DATADIR=$BASEDIR/data TMPDIR=$BASEDIR/tmp LOGDIR=$BASEDIR/log ETCDIR=$BASEDIR/etc SOCKET_FILE=$TMPDIR/mysql.sock PID_FILE=$TMPDIR/${NODE_NAME}.pid LOG_ERROR_FILE=$LOGDIR/${NODE_NAME}.log GENERAL_LOG_FILE=$LOGDIR/${NODE_NAME}_g.. 공감수 0 댓글수 0 2021. 10. 1.
install mysql(percona) by tarball set limit for max open files # cat /etc/security/limits.conf root soft nofile 65536 root hard nofile 65536 user soft nofile 65536 user hard nofile 65536 적용 후 percona 를 설치하고 운영할 계정을 새로 로그인 한다. set env # mysql export MYSQL_HOME=$HOME/mysql export PATH=$PATH:$MYSQL_HOME/bin download package & link # connecthttps://www.percona.com/downloads/Percona-Server-LATEST/ # download Percona-Server-8.0.20-11-.. 공감수 0 댓글수 0 2021. 10. 1.
MySQL partition 관리 파티션 테이블 생성하기 drop table if exists test.T1; CREATE TABLE `T1` ( `symbol` varchar(45) NOT NULL, `unix_time` int(11) NOT NULL, PRIMARY KEY (`symbol`,`unix_time`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='partition table sample' PARTITION BY RANGE ( unix_time ) ( PARTITION p202001 VALUES LESS THAN ( 1577836800 ), PARTITION p202002 VALUES LESS THAN ( 1580515200 ), PARTITION p999999 VALUES LESS.. 공감수 0 댓글수 0 2021. 10. 1.
InnoDB on-disk structures Tables tablespace > segment ( unix file ) > extent > page Indexes Clusterd Index primary key 와 동의어 이기도 하다. clustered index 가 생성되어 있지 않다면 not null 이면서 unique index 를 pk 처럼 사용한다. auto-increment 를 대용으로 사용할 수 있다. pk, uk index 도 없다면 내부적으로 row id 사용하게 된다. 6 byte order insertion Secondary Indexes clustered index 를 제외한 모든 인덱스를 secondary index 라고 한다. secondary index 의 각 레코드는 clustered index 의 컬럼들을 함께 가지고.. 공감수 0 댓글수 0 2021. 10. 1.
InnoDB Adaptive Hash index 자주 사용되는 칼럼을 해시로 정의하여 b-tree를 타지 않고 바로 데이터에 접근할 수 있는 기능이다. 이름에서 유추할 수 있듯이 내부에서 자동으로 운영된다. 최초 메모리는 buffer pool 의 1/64 대상은 임의로 선정할 수 없다. 사용자는 on/off 만 가능 adaptive hash index 사용하기 set global innodb_adaptive_hash_index = 1; set global innodb_adaptive_hash_index = 0; adaptive hash index 모니터링 adaptive hash index 사용시 주의점 예를 들어 오랫동안 운영되던 테이블이 있는데 이를 운영중에 drop 했다고 가정하자. adaptive hash index 페이지에 drop 대상의 테.. 공감수 0 댓글수 0 2021. 10. 1.
InnoDB change buffer NSERT, UPDATE, DELETE 등 이 secondary index 에 영향을 주게 되는데 해당 페이지가 buffer pool 에 없다면 원칙적으로 바로 disk i/o 가 발생해야 한다. 이는 operation 에 의해 임의적으로 disk i/o 가 발생할 수 있다는 이야기 인데 이런 상황이 성능에 좋지 않기 때문에 change buffer 에 임의로 적용해 두고 시스템이 비교적 한가할때 change buffer 가 full 이 될때 해당 페이지를 select 에 의해 buffer pool 에 캐싱될때 혹은 주지적으로 disk i/o 를 발생시켜 성능을 향상 시키는 역할을 한다. change buffer 크기 change buffer 는 buffer pool 의 25% 정도 차지하고 최고 50%.. 공감수 1 댓글수 0 2021. 10. 1.
InnoDB Buffer pool buffer pool 은 InnoDB 가 억세스 하는 테이블 및 인덱스 데이터를 캐시하는 메모리 영역이다. 시스템 물리 메모리의 60~80% 정도를 할당 한다. 작업의 효율성을 위해 복수의 행을 보관할 수 있도록 페이지로 나뉘며 링크된 페이지 목록으로 구현된다. 오랫동안 참조되지 않은 페이지는 LRU 알고리즘으로 만료 시킨다. buffer pool 은 2개의 하위 리스트로 구성된다. new sublist buffer pool 의 5/8 공간을 차지 최근에 참조되면 이 sublist 에 추가 된다. old sublist buffer pool 의 3/8 공간을 차지 참조되지 않을 수록 점차 이 sublist 에 가까워지거나 이동되어 진다. 새로운 page 가 추가될때 이 두개의 sublist 사이로 추가되며.. 공감수 0 댓글수 0 2021. 10. 1.
InnoDB Locking and Transaction Model MySQL lock global lock MySQL 서버 전체에 걸리는 잠금으로 보통 mysqldump 등에서 백업을 위해 사용한다. FLUSH TABLES WITH READ LOCK; 위 구문은 실행과 동시에 데이터베이스에 구분없이 서버 전체를 대상으로 잠금이 획득된다. table lock 개별 테이블 단위로 설정하는 장금이다. FLUSH TABLES WITH READ LOCK; 명시적 잠금은 아래와 같이 구문으로 명시적으로 잠금을 획득할 수 있다. LOCK TABLES table_name [READ | WRITE]; UNLOCK TABLES; 묵시적 잠금은 MyISAM 혹은 MEMORY 스토리지 엔진 등에서 데이터를 변경할때 테이블 단위 잠금을 지원하므로 자동으로 획득후 해제를 하게 된다. user .. 공감수 1 댓글수 0 2021. 10. 1.
MySQL shell importTable() 사용하기 filelist=" T1.csv T2.csv " HOST=127.0.0.1 PASSWD=pass DATABASE=test USER=root THREADS=4 file_path=/home/chlee/data CMD="$HOME/mysqlsh/bin/mysqlsh -h $HOST -u$USER -p$PASSWD --mysql" function importAll() { for filename in `ls $filelist` do importTable $file_path/$filename done } function importTable() { if [ -f "$1" ]; then basename=$(basename -- $1) filename=${basename%.*} echo "import $filename.. 공감수 0 댓글수 0 2021. 10. 1.
MySQL shell exportTable() 사용하기 tablelist=" T1 T2 " file_path=/home/chlee/data mysqlsh_path=$HOME/mysqlsh/bin HOST=127.0.0.1 PASSWD=pass DATABASE=test USER=root CMD="$mysqlsh_path/mysqlsh -h $HOST -u$USER -p$PASSWD --mysql" function exportAll() { for table in $tablelist do exportTable ${table%.*} done } function exportTable() { table=$1 echo "export $table" time $CMD -e "util.exportTable('${DATABASE}.$table' , 'file://$file_pa.. 공감수 0 댓글수 0 2021. 10. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.