Overview¶
DSL Language¶
Linux에서 지원하는 |
를 분산 환경에서 그대로 사용 할 수 있는 DSL(Domain-Specific Language) 지원합니다.
Pipelining Commands¶
Data-Discovery-Service의 명령어를 |
로 연결하여 쿼리 구성 가능합니다.
Ex) * | where A = 'abc' | round 3 col=B | count
Distributed System¶
Data-Discovery-Service는 Spark에서 돌아 갈 수 있도록 설계되어 있습니다.
|
으로 구분되어진 각 명령어는 Dataframe을 input으로 받은 후, Dataframe을 output으로 내보냅니다.
각 명령어는 transformation을 통해 작업(DAG: Directed Acyclic Graph)을 구성하고(바로 실행되는 것은 아닙니다.), action을 통해 작업을 실제로 실행하여 RDD를 만들고 결과를 반환합니다.
Support Various Data Soureces¶
Data-Discovery-Service는사용자로 부터 입력받은 단일 검색 질의어를 통해 여러 데이터소스의 데이터를 검색 및 분석 가능합니다.
RESTful API¶
Data-Discovery-Service는 RESTful API를 제공 합니다.
사용자는 IRIS UI 화면에서 검색 쿼리를 입력하면, Data-Discovery-Service의 API를 통해 결과를 받아 볼 수 있습니다.