Spark DecisionTree Regression

개요

DecisionTree는 Classification / Regression에 모두 사용 할 수 있으며, 특정 값이 누락되어 있어도 사용 할 수 있습니다.

설명

Decision Tree 모델을 만들고 input data frame을 모델에 적용시킵니다. Decision Tree 모델 학습에 필요한 파라미터들을 지정할 수 있으며 지정하지 않을 시 Default 값으로 설정됩니다.

Examples

집값에 대한 샘플데이터 입니다.

crim(범죄율)	age(연식)	tax(세금)	medv(집값)
0.671909988	90.30000305	307	16.60000038
1.002449989	87.30000305	307	21
8.055789948	95.40000153	666	13.80000019
…	…	…	…

fit으로 DecisionTreeRegression 적용해 분류 하는 모델을 생성하는 명령어 예제입니다.

* | fit DecisionTreeRegression FEATURES crim, age, tax LABEL medv maxdepth=3 minInfoGain=0.0 seed=None INTO modelC

feature별 gini계수(feature importance) , 평가지표(rmse, r2,mae) 출력

features	generalizeGini	rmse	r2	mae
crim	0.2784	6.7384	0.4621	4.5765
age	0.0688	None	None	None
tax	0.6528	None	None	None

predict로 modelC에 샘플 데이터를 다시 넣어 예측하는 명령어 예제입니다.

* | predict modelC crim, age, tax

crim(범죄율)	age(연식)	tax(세금)	medv(집값)	prediction
0.671909988	90.30000305	307	16.60000038	22.336029403
1.002449989	87.30000305	307	21	22.336029403
8.055789948	95.40000153	666	13.80000019	14.740000152
…	…	…	…	…

fit_predict로 DecisionTreeRegression을 적용해 분류모델을 생성하고 후 예측하는 명령어 예제입니다.

* | fit_predict DecisionTreeRegression FEATURES crim, age, tax LABEL medv maxdepth=3 minInfoGain=0.0 seed=None INTO modelC

Parameters

SparkDecisionTreeRegression_command : FEATURES fields LABEL l_field params INTO_model

이름	설명	필수/옵션
FEATURES fields	학습에 사용될 특징 column을 입력 받습니다.	필수
LABEL l_fiedls	학습에 사용될 라벨 column을 입력 받습니다.	필수
params	*알고리즘 옵션을 지정해줍니다.	필수
INTO_model	모델을 저장해주는 예약어 입니다. 경로 (/B-IRIS/USERS/dani/ML/)에 모델, 모델 메타 데이터가 저장됩니다. 예 : into modelA	옵션

*알고리즘 옵션

이름	설명	기본값
maxDepth	tree의 깊이를 설정합니다. 예 : maxDepth=10	5
maxBins	bin의 최댓값을 설정합니다.	31
minInstancesPerNode	split 이후에 반드시 가져야하는 child의 instance 수를 설정합니다.	1
minInfoGain	tree의 split을 위한 얻을 수 있는 최소 정보입니다. (정확히는 모르겠습니다.)	0.0
maxMemoryInMB	최대 메모리를 설정합니다.	256
cacheNodeIds	각 트리의 instance 마다 cache node id를 사용할지 안할지 여부 결정합니다.	False
impurity	계산 결과에서 얻을 수 잇는 정보의 표준을 결정합니다. (gini, entorpy, variance)	variance
checkpointInterval	cache 하는 checkpoint의 반복 주기를 설정합니다.	10
seed	학습에 필요한 seed값 입니다.	None

Parameters BNF

SparkDecisionTreeRegression_command : FEATURES fields LABEL l_field params INTO_model
fields : field
       | fields COMMA field
field : WORD
       | TIMES
       | MINUS WORD
l_field : WORD
params : param
       | params param
       |
param : WORD EQUALS WORD
      | WORD EQUALS DOUBLE
      | WORD EQUALS LBRACKET words RBRACKET
      | WORD EQUALS LBRACKET doubles RBRACKET
words : WORD
      | words COMMA WORD
doubles : DOUBLE
        | doubles COMMA DOUBLE
INTO_model : INTO WORD
           |

WORD = r'\w+'
COMMA = r'\,'
FEATURES = r'FEATURES | features'
LABEL = r'LABEL | label'
INTO = r'INTO'
EQUALS = r'\='
TIMES = r'\*'
MINUS = r'-'
LBRACKET = r'\['
RBRACKET = r'\]'
DOUBLE = [-+]?[0-9]+(\.([0-9]+)?([eE][-+]?[0-9]+)?|[eE][-+]?[0-9]+)