Spark DecisionTree Classification

DecisionTree Classfication 학습 알고리즘 설명 및 파라미터 설명서 입니다.

개요

DecisionTree는 Classification / Regression에 모두 사용 할 수 있으며, 특정 값이 누락되어 있어도 사용 할 수 있습니다.

설명

Decision Tree 모델을 만들고 input data frame을 모델에 적용시킵니다. Decision Tree 모델 학습에 필요한 파라미터들을 지정할 수 있으며 지정하지 않을 시 Default 값으로 설정됩니다.

Examples

  • Fit으로 DecisionTreeClassification 적용해 분류 하는 모델을 생성하는 명령어 예제입니다.
... | fit DecisionTreeClassification FEATURES a,b,c,d LABEL s maxdepth=3 minInfoGain=0.0 seed=None INTO modelD
  • fit 명령어를 이용해 DT 모델 생성 & 변경된 fit 리턴값 출력
  • feature별 gini계수(feature importance) , 평가지표(acc, pre, f1, recall) 출력
features generalizeGini space accuracy precision f1 recall
a 1.0

1.0 1.0 1.0 1.0
b 0.0

None None None None
c 0.0

None None None None
d 0.0

None None None None

Parameters

... | fit DecisionTreeClassification FEATURES fields LABEL l_fields maxdepth=3 minInfoGain=0.0 seed=None INTO_model
이름 설명 필수/옵션
FEATURES 학습에 사용될 특징 column을 입력 받습니다. 필수
LABEL 학습에 사용될 라벨 column을 입력 받습니다. 필수
fields 특징 column들의 이름입니다. 필수
l_fields 라벨 column들의 이름입니다. 필수
params 알고리즘 setting 파라미터들입니다. 옵션
INTO_model INTO model name으로 이루어져 있습니다. 경로 (/Biris/angora/ml)에 모델 메타 데이터와 함께 저장합니다. 필수
maxDepth tree의 깊이를 설정합니다. 옵션
maxBins bin의 최댓값을 설정합니다. 옵션
minInstancesPerNode split 이후에 반드시 가져야하는 child의 instance 수를 설정합니다. 옵션
minInfoGain tree의 split을 위한 얻을 수 있는 최소 정보입니다. 옵션
maxMemoryInMB 최대 메모리를 설정합니다. 옵션
cacheNodeIds 각 트리의 instance 마다 cache node id를 사용할지 안할지 여부 결정합니다. 옵션
impurity 계산 결과에서 얻을 수 잇는 정보의 표준을 결정합니다. (Gini, Entorpy) 옵션
checkpointInterval cache 하는 checkpoint의 반복 주기를 설정합니다. 옵션
seed 학습에 필요한 seed값 입니다. 옵션

Parameters BNF

SparkDecisionTreeClassification_command : FEATURES fields LABEL l_field params INTO_model

fields : field
        | fields COMMA field

field : WORD
        | TIMES
        | MINUS WORD

l_field : WORD

params : param
        | params param

param : WORD EQUALS WORD
        | WORD EQUALS DOUBLE
        | WORD EQUALS LBRACKET words RBRACKET
        | WORD EQUALS LBRACKET doubles RBRACKET

words : WORD
        | words COMMA WORD

doubles : DOUBLE
        | doubles COMMA DOUBLE

INTO_model : INTO WORD

WORD : \w+
COMMA : ,
FEATURES : FEATURES | features
LABEL : LABEL | label
INTO : INTO
EQUALS : \=
TIMES : \*
MINUS : \-
LBRACKET = \[
RBRACKET = \]
DOUBLE = [-+]?[0-9]+(\.([0-9]+)?([eE][-+]?[0-9]+)?|[eE][-+]?[0-9]+)


params : maxDepth=5, maxBins=32, minInstancesPerNode=1, minInfoGain=0.0, maxMemoryInMB=256, cacheNodeIds=False, seed=None, impurity='Gini', checkpointInterval=10,