img2tsv

개요

이미지 파일을 읽어서 TSV 포멧으로 변환 저장하는 명령어

설명

객체 저장소에 저장되어 있는 이미지 파일 또는 폴더를 읽어서 TSV 포멧으로 변환 저장하는 명령어입니다. 이미지를 Spark 에서 지원하는 spark.read.format(“image”) API 를 사용하여 원시 이미지 표현으로 로드 후, float형의 벡터로 반환합니다. 단순히 벡터만 반환할 수도 있고 레이블 컬럼을 추가할수도 있습니다.

Parameters

img2tsv src=OBJECTSTORAGE.{CONNECTOR_NAME}:{KEY} dst={KEY} column_name=feature label=(label, 3) tag=three

이름	설명	기본값	예시값	타입	필수
src	이미지 파일 or 디렉토리 경로		OBJECTSTORAGE.MIN_AI:mnist/0	문자열	O
dst	저장할 TSV 파일 경로 CONNECTOR 정보(OBJECTSTORAGE.{CONNECTOR_NAME})는 src 파라미터를 참조합니다.		mnist/tsv/0.tsv	문자열	O
column_name	이미지 벡터를 저장할 컬럼명	feature	feature	문자열
label	레이블 컬럼 이름, 타입, 값		(label, [1,0,0,0,0,0,0,0,0,0])	튜플
scale	이미지 벡터를 나눌 값	255.0	255.0	플롯형
tag	레이블이 의미하는 태그 값 tag값이 있으면, splitter 명령어에서 dictionary를 만들 수 있습니다.		zero	문자열

CONNECTOR_NAME : Conncetor Name입니다. IRIS UI에서 연결정보 생성 후, 연결정보의 이름 컬럼에서 확인할 수 있는 값입니다.

KEY : OBJECTSTORAGE의 key입니다. bucket은 생략해야 합니다.

Examples

객체 저장소의 특정 이미지를 TSV로 변환하여 저장합니다.

img2tsv src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/0/35923.png dst=USERS/pjh0347/mnist/tsv/0.tsv column_name=feature label=(label, [1,0,0,0,0,0,0,0,0,0]) tag=zero

• (label, [1,0,0,0,0,0,0,0,0,0]) : 라벨이 저장되는 컬럼 및 데이터입니다. 이 예제는 one-hot 벡터를 표현합니다.

출력 결과 - 변환한 이미지의 개수가 출력됩니다.

total
1

객체 저장소의 이미지 디렉토리를 읽어 TSV로 변환하여 저장합니다.

img2tsv src=OBJECTSTORAGE.MIN_AI:USERS/pjh0347/mnist/0 dst=USERS/pjh0347/mnist/tsv/0.tsv column_name=feature label=(label, [1,0,0,0,0,0,0,0,0,0]) tag=zero

출력 결과

total
6796

tsv 데이터 예시

label	tag	feature
0,1,0,0,0,0,0,0,0,0	one	0.0,0.0,…,0.14901960784313725,0.8941176470588236,0.11372549019607843,…,0.0,0.0,0.0,0.0,0.0,0.0
…	…	…

Parameters BNF

img2tsv_command : SRC EQ WORD DST EQ WORD options
options : option
         | options option
         |
option : WORD EQ WORD
       | WORD EQ WORD_WITH_BRACKET

WORD : r'[^ |^\|^\'|\"|^\=]+'
WORD_WITH_BRACKET : r'\([^\|^\'|\"|^\=]+\)'
EQ : r'\='
SRC : r'(?i)src'
DST : r'(?i)dst'