hdfs

개요

HDFS에 읽기 및 쓰기를 하는 명령어 입니다.

설명

해당 명령어를 통해 HDFS 혹은 local로 데이터를 읽기 및 쓰기를 할 수 있습니다.

해당 명령어는 내부 구현 목적으로 주로 사용됩니다. Query string에서는 join 명령어에서 데이터를 읽어 들여 올 때를 제외하고는 읽기 명령은 사용 될 수 없습니다.

Examples

• 아래 예제는 앞서 처리된 값을 /tmp/path 라는 local path로 write하는 예제 입니다..

... | hdfs csv write /tmp/path option(connector_id '3')

• /tmp/path/test.csv 를 read 하는 예제입니다.

... | hdfs csv read /tmp/path/test.csv option(connector_id '3')

Parameters

... | hdfs SOURCE [WRITE|READ] (OPTIONS '(' ((KEY VALUE) (,KEY VALUE)*)? ')')?

Parameters BNF

clauses : TOKEN READ STRING_TOKEN
        | TOKEN WRITE STRING_TOKEN
        | TOKEN READ TOKEN
        | TOKEN WRITE TOKEN
        | TOKEN READ STRING_TOKEN OPTION LPAREN RPAREN
        | TOKEN WRITE STRING_TOKEN OPTION LPAREN RPAREN
        | TOKEN READ TOKEN OPTION LPAREN RPAREN
        | TOKEN WRITE TOKEN OPTION LPAREN RPAREN

clauses_options : TOKEN READ STRING_TOKEN OPTION LPAREN tokens RPAREN
        | TOKEN WRITE STRING_TOKEN OPTION LPAREN tokens RPAREN
        | TOKEN READ TOKEN OPTION LPAREN tokens RPAREN
        | TOKEN WRITE TOKEN OPTION LPAREN tokens RPAREN
tokens : TOKEN TOKEN
        | TOKEN STRING_TOKEN
        | tokens COMMA TOKEN TOKEN
        | tokens COMMA TOKEN STRING_TOKEN

STRING_TOKEN = "..."
LPAREN = (
RPAREN = )
COMMA = ,