ML 범용 명령어 - mnist 예제

IRIS Discovery Service의 DSL 명령어를 활용하여, mnist 숫자 이미지 다운로드부터 전처리, 학습, 예측, 평가, 서빙하는 시나리오입니다.

mnist 이미지 다운로드

mnist 숫자 이미지를 아래 사이트에서 다운로드 및 압축을 해제합니다.

https://github.com/myleott/mnist_png/blob/master/mnist_png.tar.gz

개인 객체 저장소에 업로드

다운로드 받은 이미지 파일을 개인 객체 저장소에 업로드합니다. 수동으로 업로드하거나 아래 스크립트를 실행합니다.

아래는 업로드하는 python 스크립트 예제 입니다. 모두 업로드하는데 1~2시간정도 소요됩니다.

boto3 패키지가 필요합니다. pip install boto3
아래 인자를 입력해주세요.

testing : test 이미지 로컬 디렉토리 경로

training : train 이미지 로컬 디렉토리 경로

bucket : 개인 객체 저장소의 bucket

prefix : 개인 객체 저장소의 key (상위 키)

endpoint_url : 개인 객체 저장소의 url

aws_access_key_id : 개인 객체 저장소의 access_key

aws_secret_access_key : 개인 객체 저장소의 secret_access_key

import boto3
import os

local = {
'testing': '/home/oss/tensorflow/mnist_img/mnist_png/mnist_png/testing',
'training': '/home/oss/tensorflow/mnist_img/mnist_png/mnist_png/training'
}
obj_storage = {
    'bucket': 'user1',
    'prefix': 'mnist',
}
obj_setting = {
    'endpoint_url': 'http://192.168.102.140:9015',
    'verify': False,
    'aws_access_key_id': 'minio',
    'aws_secret_access_key': '??'
}

def upload_obj(cli, files, bucket, keys):
    if isinstance(files, str):
        files = [files]
    if isinstance(keys, str):
        keys = [keys]

    for i, (file, key) in enumerate(zip(files, keys), 1):
        try:
            cli.upload_file(file, bucket, key)
            if i % 100==0:
                print('{}개 완료'.format(i))
        except ClientError as e:
            raise Exception('upload key[{}, {}] fail. {}'.format(bucket, key, e))

def make_path(root_path, obj_storage_prefix):
    local_path_list = []
    obj_path_list = []

    for path, dirs, files in os.walk(root_path):
        for file in files:
            full_path = os.path.join(path, file)
            obj_path=full_path.replace(root_path, obj_storage_prefix)
            obj_path_list.append(obj_path)
            local_path_list.append(full_path)
    return local_path_list, obj_path_list

mc = boto3.client('s3', **obj_setting)

local_path, obj_path = make_path(local['testing'], obj_storage['prefix'])
upload_obj(mc, local_path, obj_storage['bucket'], obj_path)

local_path, obj_path = make_path(local['training'], obj_storage['prefix'])
upload_obj(mc, local_path, obj_storage['bucket'], obj_path)

연결정보 등록

개인 객체저장소를 활용하기 위해 연결정보를 등록합니다.

IRIS UI에서 아래와 같이 대시보드 , 연결정보 를 차례로 클릭합니다.

새 연결 정보를 클릭합니다.

연결 이름, 데이터소스 유형, 연결정보를 입력하고 ``저장``버튼을 클릭합니다.

전처리

전처리는 IRIS Discovery Service의 img2tsv , splitter 를 사용합니다.

이미지 벡터화

mnist 숫자 이미지를 벡터 형태로 변환하여 tsv파일로 개인 객체 저장소에 저장합니다.

검색창에 아래 명령어를 각각 입력합니다.

객체저장소의 mnist/0 폴더는 one-hot 백터 형식으로 라벨을 [1,0,0,0,0,0,0,0,0,0]로 할당하며, tag는 zero라고 줍니다.
같은 방식으로 나머지 1~9 숫자 이미지도 벡터화합니다.

img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/0 dst=tsv/0.tsv column_name=feature label=(label, [int32], [1,0,0,0,0,0,0,0,0,0]) tag=zero

결과

total
6796

img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/1 dst=tsv/1.tsv column_name=feature label=(label, [int32], [0,1,0,0,0,0,0,0,0,0]) tag=one img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/2 dst=tsv/2.tsv column_name=feature label=(label, [int32], [0,0,1,0,0,0,0,0,0,0]) tag=two img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/3 dst=tsv/3.tsv column_name=feature label=(label, [int32], [0,0,0,1,0,0,0,0,0,0]) tag=three img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/4 dst=tsv/4.tsv column_name=feature label=(label, [int32], [0,0,0,0,1,0,0,0,0,0]) tag=four img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/5 dst=tsv/5.tsv column_name=feature label=(label, [int32], [0,0,0,0,0,1,0,0,0,0]) tag=five img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/6 dst=tsv/6.tsv column_name=feature label=(label, [int32], [0,0,0,0,0,0,1,0,0,0]) tag=six img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/7 dst=tsv/7.tsv column_name=feature label=(label, [int32], [0,0,0,0,0,0,0,1,0,0]) tag=seven img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/8 dst=tsv/8.tsv column_name=feature label=(label, [int32], [0,0,0,0,0,0,0,0,1,0]) tag=eight img2tsv src=OBJECTSTORAGE.MIN_AI:mnist/9 dst=tsv/9.tsv column_name=feature label=(label, [int32], [0,0,0,0,0,0,0,0,0,1]) tag=nine

train/test 분리

img2tsv에서 생성한 tsv 파일을 train/test, 80 대 20 비율로 분리하여 개인 객체 저장소에 저장합니다. 추가적으로 label과 tag 컬럼으로 사전데이터(dict.tsv)를 생성합니다.

검색창에 아래 명령어를 입력합니다.

splitter src=OBJECTSTORAGE.MIN_AI:tsv train=(train.tsv, 0.8) test=(test.tsv, 0.2) dictionary=(dict.tsv, label, tag)

결과

train	test
54687	13793

test 데이터 등록

추후 예측에 활용하기 위해 splitter 명령어로 분리한 test데이터를 IRIS UI에 데이터 모델로 등록합니다.

데이터모델 생성을 위해 대시보드 - 데이터모델 을 클릭합니다.

새 모델 을 클릭합니다.

연결 정보 를 선택하고 테스트 데이터 선택을 위해 찾아보기 를 클릭합니다.

팝업되는 창에서 TEST데이터를 찾아 선택된 파일 선택 을 클릭합니다.

분리기호를 \t 수정 후, 적용 - 분류 체크 를 클릭합니다. 모델 명을 mnist_test 로 입력 후 저장 버튼을 클릭합니다.

학습

학습은 IRIS Discovery Service의 fit 를 사용합니다.

설정 업로드

아래 python 스크립트를 활용하여 학습을 위한 설정을 개인 객체저장소에 업로드합니다.

boto3 패키지가 필요합니다. pip install boto3
아래 인자를 입력해주세요.

bucket : 개인 객체 저장소의 bucket

key : 개인 객체 저장소의 key

endpoint_url : 개인 객체 저장소의 url

aws_access_key_id : 개인 객체 저장소의 access_key

aws_secret_access_key : 개인 객체 저장소의 secret_access_key

config : TFDeep 명령어 문서 를 참조하여 입력

import boto3
import json

bucket = 'user1'
key = 'angora_mnist_config.json'

obj_setting = {
    'endpoint_url': 'http://192.168.102.140:9015',
    'verify': False,
    'aws_access_key_id': 'minio',
    'aws_secret_access_key': '??'
}

config = """
{
  "env": {
    "num_executors": 1,
    "num_ps": 0
  },
  "model": {
    "network": {
      "backend": "tensorflow",
      "class_name": "Sequential",
      "config": {
        "layers": [
          {
            "class_name": "Conv2D",
            "config": {
              "activation": "relu",
              "batch_input_shape": [
                null,
                28,
                28,
                1
              ],
              "filters": 32,
              "kernel_size": [
                3,
                3
              ]
            }
          },
          {
            "class_name": "MaxPooling2D",
            "config": {
              "data_format": "channels_last",
              "dtype": "float32",
              "name": "max_pooling2d",
              "padding": "valid",
              "pool_size": [
                2,
                2
              ],
              "strides": [
                2,
                2
              ],
              "trainable": true
            }
          },
          {
            "class_name": "Flatten",
            "config": {
              "data_format": "channels_last",
              "dtype": "float32",
              "name": "flatten",
              "trainable": true
            }
          },
          {
            "class_name": "Dense",
          "config": {
              "activation": "relu",
              "activity_regularizer": null,
              "bias_constraint": null,
              "bias_initializer": {
                "class_name": "Zeros",
                "config": {
                  "dtype": "float32"
                }
              },
              "bias_regularizer": null,
              "dtype": "float32",
              "kernel_constraint": null,
              "kernel_initializer": {
                "class_name": "GlorotUniform",
                "config": {
                  "dtype": "float32",
                  "seed": null
                }
              },
              "kernel_regularizer": null,
              "name": "dense",
              "trainable": true,
              "units": 64,
              "use_bias": true
            }
          },
          {
            "class_name": "Dense",
            "config": {
              "activation": "softmax",
              "activity_regularizer": null,
              "bias_constraint": null,
              "bias_initializer": {
                "class_name": "Zeros",
                "config": {
                  "dtype": "float32"
                }
              },
              "bias_regularizer": null,
              "dtype": "float32",
              "kernel_constraint": null,
              "kernel_initializer": {
                "class_name": "GlorotUniform",
                "config": {
                  "dtype": "float32",
                  "seed": null
                }
              },
              "kernel_regularizer": null,
              "name": "dense_1",
              "trainable": true,
              "units": 10,
              "use_bias": true
            }
          }
        ],
        "name": "sequential"
      },
      "keras_version": "2.2.4-tf"
    },
    "loss": "categorical_crossentropy",
    "metrics": "accuracy",
    "optimizer": {
      "SGD": {
        "learning_rate": 0.001
      }
    },
    "format": "h5"
  },
  "dataset": {
    "train": {
      "type": "minio",
      "endpoint": "192.168.102.140:9015",
      "access_key": "minio",
      "secret_key": "minio123",
      "bucket": "user1",
      "path": "train.tsv",
      "format": "tsv",
      "header": true
    },
    "dictionary": {
      "type": "minio",
      "endpoint": "192.168.102.140:9015",
      "access_key": "minio",
      "secret_key": "minio123",
      "bucket": "user1",
      "path": "dict.tsv",
      "format": "tsv",
      "header": true
    }
  },
  "tensor": {
    "feature": {
      "shape": "(28, 28, 1)",
      "type": "float32"
    },
    "label": {
      "shape": "(10, )",
      "type": "float32"
    },
    "interpret": {
      "shape": "()",
      "type": "int32"
    }
  },
  "fit": {
    "input": {
      "dataset": "train",
      "feature": "feature",
      "label": "label"
    },
    "checkpoint": {
      "save_weights_only": true
    }
  },
  "interpret": {
    "dataset": "dictionary",
    "key": "label",
    "value": "tag"
  }
}

"""

conn = boto3.resource('s3', **obj_setting)
obj = conn.Object(bucket, key)
obj.put(Body=config)

학습

config에 앞서 업로드한 설정파일을 넣어 모델명을 tf_minist로하여 학습합니다.

검색창에 아래 명령어를 입력합니다.

fit deep batch_size=128 epochs=2 config=OBJECTSTORAGE.MIN_AI:angora_mnist_config.json into tf_mnist

결과

losses	metrics
{‘loss’: 2.2735725229548427}	{‘accuracy’: 0.20473583}
{‘loss’: 2.150804412119167}	{‘accuracy’: 0.41432425}

accuracy가 41% 입니다. 높이기 위해 epochs을 3번 더 주어 이어서 학습합니다.

검색창에 아래 명령어를 입력합니다.

fit deep batch_size=128 epochs=3 retrain=True config=OBJECTSTORAGE.MIN_AI:angora_mnist_config.json into tf_mnist

결과

losses	metrics
{‘loss’: 1.9149726856615126}	{‘accuracy’: 0.5695675}
{‘loss’: 1.5214702637539697}	{‘accuracy’: 0.67936534}
{‘loss’: 1.1004468156504876}	{‘accuracy’: 0.76993394}

평가

평가는 IRIS Discovery Service의 eval 를 사용합니다.

학습된 모델을 평가하기 위해 검색창에 아래 명령어를 입력합니다(평가 데이터는 앞서 생성한 mnist_test 를 사용합니다).

model name = 'mnist_test' model_owner = root | eval deep tf_mnist feature=feature label=label rate=0.8 repeat=3

결과

no	losses	metrics
1	{‘loss’: 0.8852438026895889}	{‘acc’: 0.8077567}
2	{‘loss’: 0.8139687060163571}	{‘acc’: 0.84133184}
3	{‘loss’: 0.818142257630825}	{‘acc’: 0.8341704}

예측

예측은 IRIS Discovery Service의 predict 를 사용합니다.

학습된 모델로 예측을 위해 검색창에 아래 명령어를 입력합니다(예측 데이터는 앞서 생성한 mnist_test 를 사용합니다).

model name = 'mnist_test' model_owner = root | predict tf_mnist feature

결과

label	tag	feature	prediction	interpreted
1,0,0,0,0,0,0,0,0,0	zero	0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0….	1,0,0,0,0,0,0,0,0,0	zero
…	…	…	…	…

배포

배포는 IRIS Discovery Service의 mlmodel deploy 를 사용합니다.
학습 모델을 버저닝하여 서빙합니다.
검색창에 아래 명령어를 입력합니다.

mlmodel deploy tf_mnist label='test'

결과

result	latest_version	serving_name
on	1	root_tf_mnist

예측 (서빙)

예측 (서빙)은 IRIS Discovery Service의 serving predict 를 사용합니다.
앞서 배포한 모델을 테스트데이터로 예측합니다(예측 데이터는 앞서 생성한 mnist_test 를 사용합니다).
검색창에 아래 명령어를 입력합니다.

model name = 'mnist_test' | top 30 feature | serving predict tf_mnist col=feature shape=[(28,28,1)] layer_name=Conv1_input tag=(zero, one, two, three, four, five, six, seven, egiht, nine, ten)

결과

label	tag	feature	predictions	probability	interpreted
0,0,0,0,0,1,0,0,0,0	five	0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0…	[0.62, 0.01, 0.04…]	0.62	five
1,0,0,0,0,0,0,0,0,0	zero	0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0…	[0.14, 0.03, 0.03…]	0.38	zero
…	…	…	…	…	…

조회

조회는 IRIS Discovery Service의 mlmodel ,

serving status 를 사용합니다. | ml 모델 목록을 보기 위해 아래 명령어를 입력합니다. 배포한 모델은 serving 속성이 on 으로 됩니다.

mlmodel list

결과

id	user	name	type	category	algorithm	serving	create	modified
1	root	tf_mnist	tf	classification	deep	on	2019/11/19 00:11:22	2019/11/19 00:11:33
…	…	…	…	…	…	…	…	…

tf_mnist 모델을 상세 조회하기 위해 아래 명령어를 입력합니다.

mlmodel summary tf_mnist

결과

name	value
id	1
user	root
name	tf_mnist
filename	saved_model.pb
format	saved_model
type	tf
category	deep
algorithm	deep
feature	feature
label	label
parameter	{‘batch_size’: 128, ‘epochs’: 5, ‘continuous’: ‘True’, ‘config’: ‘objectstorage.MINIO_AI_SOURCE:USERS/pjh0347/mnist/angora_mnist_config.json’}
evaluation	[]
cross_validation	{}
grid_info	{}
train_cnt	55260
elapsed	569.0207872390747
dictionary	dict.tsv
cdate	20200323171102
mdate	20200324100417
serving	off
serving_name	root_tf_mnist
state	DONE

tf_mnist 모델의 서빙 상태를 조회하기 위해 아래 명령어를 입력합니다.

serving status tf_mnist

version	state	label
1	AVAILABLE	test