splitter¶
개요¶
레코드형 파일(들)을 train/test 로 분리 저장하는 명령어
설명¶
객체 저장소에 저장되어 있는 레코드형 파일(들)을 train/test 로 분리 저장하는 명령어입니다. 파일에 학습 레이블 컬럼과 태그 컬럼이 있으면 사전 데이터를 추가로 생성할 수 있습니다. 출력 결과로 train으로 분리된 레코드 수와 test로 분리된 레코드 수를 출력합니다.
| train | test |
|---|---|
| 800 | 200 |
Parameters¶
splitter src=OBJECTSTORAGE.{CONNECTOR_NAME}:{KEY} train=({KEY}, 0.8) test=({KEY}, 0.2)
| 이름 | 설명 | 기본값 | 예시값 | 타입 | 필수 |
|---|---|---|---|---|---|
| src | 입력 파일 or 디렉토리 경로 | OBJECTSTORAGE.MIN_AI:mnist/tsv | 문자열 | O | |
| train | 학습 데이터 저장 경로와 비율 CONNECTOR 정보( OBJECTSTORAGE.{CONNECTOR_NAME})는 src 파라미터를 참조합니다. |
(mnist/train.tsv, 0.8) | 문자열 | O | |
| test | 테스트 데이터 저장 경로와 비율 | (mnist/test.tsv, 0.2) | 문자열 | O | |
| dictionary | 사전 데이터 저장 경로, 학습 레이블 컬럼명, 태그 컬럼명 | (mnist/dict.tsv, label, tag) | 튜플 | ||
| mode | 학습, 테스트, 사전 데이터 저장 모드 (overwrite, append) | overwrite | append | 문자열 | |
| delimiter | src 파라미터의 구분자 | t | , | 문자열 |
CONNECTOR_NAME : Conncetor Name입니다. IRIS UI에서 연결정보 생성 후, 연결정보의 이름 컬럼에서 확인할 수 있는 값입니다.
KEY : OBJECTSTORAGE의 key입니다. bucket은 생략해야 합니다.
Examples¶
객체 저장소에 저장되어 있는 레코드형 파일들을 80:20으로 학습 파일과 테스트 파일로 분리 저장합니다.
splitter src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/tsv train=(USERS/pjh0347/mnist/train.tsv, 0.8) test=(USERS/pjh0347/mnist/test.tsv, 0.2)
출력 결과 - train으로 분리된 레코드 수와 test로 분리된 레코드 수를 출력
| total | test |
|---|---|
| 54540 | 13420 |
학습 레이블 컬럼명이 label이고 태그 컬럼명이 tag인 레코드형 파일(0.tsv)을 train/test 로 분리하여 덮어씁니다.
splitter src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/tsv/0.tsv train=(USERS/pjh0347/mnist_demo/train.tsv, 0.8) test=(USERS/pjh0347/mnist_demo/test.tsv, 0.2) dictionary=(USERS/pjh0347/mnist_demo/dict.tsv, label, tag) mode=overwrite
| total | test |
|---|---|
| 5000 | 1000 |
학습 레이블 컬럼명이 label이고 태그 컬럼명이 tag인 레코드형 파일(1.tsv)을 train/test 로 분리하여 기존 파일에 추가합니다.
splitter src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/tsv/1.tsv train=(USERS/pjh0347/mnist_demo/train.tsv, 0.8) test=(USERS/pjh0347/mnist_demo/test.tsv, 0.2) dictionary=(USERS/pjh0347/mnist_demo/dict.tsv, label, tag) mode=overwrite
| total | test |
|---|---|
| 5000 | 1000 |
tsv 데이터 예시
- train.tsv or test.tsv
| label | tag | feature |
|---|---|---|
| 0,1,0,0,0,0,0,0,0,0 | one | 0.0,0.0,…,0.14901960784313725,0.8941176470588236,0.11372549019607843,…,0.0,0.0,0.0,0.0,0.0,0.0 |
| … | … | … |
- dictionary
| label | tag |
|---|---|
| 1,0,0,0,0,0,0,0,0,0 | zero |
| 0,1,0,0,0,0,0,0,0,0 | one |
| 0,0,1,0,0,0,0,0,0,0 | two |
| … | … |
| 0,0,0,0,0,0,0,0,0,1 | nine |
Parameters BNF¶
splitter_command : SRC EQ WORD TRAIN EQ WORD_WITH_BRACKET TEST EQ WORD_WITH_BRACKET options
options : option
| options option
|
option : WORD EQ WORD
| WORD EQ WORD_WITH_BRACKET
WORD : r'[^ |^\|^\'|\"|^\=]+'
WORD_WITH_BRACKET : r'\([^\|^\'|\"|^\=]+\)'
EQ : r'\='
SRC : r'(?i)src'
TRAIN : r'(?i)train'
TEST : r'(?i)test'
