splitter
개요
레코드형 파일(들)을 train/test 로 분리 저장하는 명령어
타입
설명
객체 저장소에 저장되어 있는 레코드형 파일(들)을 train/test 로 분리 저장하는 명령어입니다. 파일에 학습 레이블 컬럼과 태그 컬럼이 있으면 사전 데이터를 추가로 생성할 수 있습니다. 출력 결과로 train으로 분리된 레코드 수와 test로 분리된 레코드 수를 출력합니다.
train |
test |
|---|---|
800 |
200 |
Parameters
splitter src=OBJECTSTORAGE.{CONNECTOR_NAME}:{KEY} train=({KEY}, 0.8) test=({KEY}, 0.2)
이름 |
설명 |
기본값 |
예시값 |
타입 |
필수 |
|---|---|---|---|---|---|
src |
입력 파일 or 디렉토리 경로 |
OBJECTSTORAGE.MIN_AI:mnist/tsv |
문자열 |
O |
|
train |
학습 데이터 저장 경로와 비율 |
(mnist/train.tsv, 0.8) |
문자열 |
O |
|
test |
테스트 데이터 저장 경로와 비율 |
(mnist/test.tsv, 0.2) |
문자열 |
O |
|
dictionary |
사전 데이터 저장 경로, 학습 레이블 컬럼명, 태그 컬럼명 |
(mnist/dict.tsv, label, tag) |
튜플 |
||
mode |
학습, 테스트, 사전 데이터 저장 모드 (overwrite, append) |
overwrite |
append |
문자열 |
|
delimiter |
src 파라미터의 구분자 |
t |
, |
문자열 |
CONNECTOR_NAME : Conncetor Name입니다. IRIS UI에서 연결정보 생성 후, 연결정보의 이름 컬럼에서 확인할 수 있는 값입니다.
KEY : OBJECTSTORAGE의 key입니다. bucket은 생략해야 합니다.
Examples
객체 저장소에 저장되어 있는 레코드형 파일들을 80:20으로 학습 파일과 테스트 파일로 분리 저장합니다.
splitter src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/tsv train=(USERS/pjh0347/mnist/train.tsv, 0.8) test=(USERS/pjh0347/mnist/test.tsv, 0.2)
출력 결과 - train으로 분리된 레코드 수와 test로 분리된 레코드 수를 출력
total |
test |
|---|---|
54540 |
13420 |
학습 레이블 컬럼명이 label이고 태그 컬럼명이 tag인 레코드형 파일(0.tsv)을 train/test 로 분리하여 덮어씁니다.
splitter src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/tsv/0.tsv train=(USERS/pjh0347/mnist_demo/train.tsv, 0.8) test=(USERS/pjh0347/mnist_demo/test.tsv, 0.2) dictionary=(USERS/pjh0347/mnist_demo/dict.tsv, label, tag) mode=overwrite
total |
test |
|---|---|
5000 |
1000 |
학습 레이블 컬럼명이 label이고 태그 컬럼명이 tag인 레코드형 파일(1.tsv)을 train/test 로 분리하여 기존 파일에 추가합니다.
splitter src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/tsv/1.tsv train=(USERS/pjh0347/mnist_demo/train.tsv, 0.8) test=(USERS/pjh0347/mnist_demo/test.tsv, 0.2) dictionary=(USERS/pjh0347/mnist_demo/dict.tsv, label, tag) mode=overwrite
total |
test |
|---|---|
5000 |
1000 |
tsv 데이터 예시
train.tsv or test.tsv
label |
tag |
feature |
|---|---|---|
0,1,0,0,0,0,0,0,0,0 |
one |
0.0,0.0,…,0.14901960784313725,0.8941176470588236,0.11372549019607843,…,0.0,0.0,0.0,0.0,0.0,0.0 |
… |
… |
… |
dictionary
label |
tag |
|---|---|
1,0,0,0,0,0,0,0,0,0 |
zero |
0,1,0,0,0,0,0,0,0,0 |
one |
0,0,1,0,0,0,0,0,0,0 |
two |
… |
… |
0,0,0,0,0,0,0,0,0,1 |
nine |
Parameters BNF
splitter_command : SRC EQ WORD TRAIN EQ WORD_WITH_BRACKET TEST EQ WORD_WITH_BRACKET options
options : option
| options option
|
option : WORD EQ WORD
| WORD EQ WORD_WITH_BRACKET
WORD : r'[^ |^\|^\'|\"|^\=]+'
WORD_WITH_BRACKET : r'\([^\|^\'|\"|^\=]+\)'
EQ : r'\='
SRC : r'(?i)src'
TRAIN : r'(?i)train'
TEST : r'(?i)test'
