Spark FP-Growth

FP-Growth 학습 알고리즘 설명 및 파라미터 설명서 입니다.

개요

FP-Growth 알고리즘을 사용해 모델을 만들고 데이터를 학습하는 명령어 입니다.

설명

FP-Growth 모델을 만들고 input data frame을 모델에 적용시킵니다. FP-Growth 모델 학습에 필요한 파라미터들을 지정할 수 있으며 지정하지 않을 시 Default 값으로 설정됩니다.

Examples

  • Fit으로 FP-Growth를 적용해 아이템을 추천해주는 모델을 생성하는 명령어 예제입니다.
... | fit_predict fpgrowth FEATURES items minSupport=0.1 minConfidence=0.5 INTO modelC
  • fit 명령어를 이용해 모델 생성 & 변경된 fit 리턴값 출력
  • frequent item 과 pattern 정보 출력
user buy items prediction
0 apple banana grape strawberry apple,banana,grape,strawberry […]
1 peach orange mango peach,orange,mango […]
2 apple,orange, pineapple apple,orange,pineapple […]

Parameters

... | fit FPGrowth FEATURES fields INTO_model
이름 설명 필수/옵션
FEATURES 학습에 사용될 특징 column을 입력 받습니다. 필수
fields 특징 column들의 이름입니다. 필수
params 알고리즘 setting 파라미터들입니다. 옵션
INTO_model INTO model_name으로 이루어져 있습니다. 경로 (/Biris/angora/ml)에 모델 메타 데이터와 함께 저장합니다. 필수
minSupport frequent item에 대한 threshold값 입니다. 옵션
minConfidence pattern 에 대한 threshold값 입니다. 옵션
numPartitions partition 갯수 입니다. 옵션

Parameters BNF

SparkFPGrowth_command : FEATURES fields params INTO_model

fields : field
        | fields COMMA field

field : WORD

params : param
        | params param

param : WORD EQUALS WORD
        | WORD EQUALS DOUBLE

INTO_model : INTO WORD

WORD : \w+
COMMA : \,
FEATURES : FEATURES | features
INTO : INTO
EQUALS : \=
DOUBLE : [-+]?[0-9]+(\.([0-9]+)?([eE][-+]?[0-9]+)?|[eE][-+]?[0-9]+)


params : minSupport=0.3, minConfidence=0.8, numPartitions=None