Data Virtualization? (데이터 가상화)?
회사 서 숙제를 받아, Data Virtualization (데이터 가상화)이라는 기술에 대해 알아보았는데,
헐? 왜 이런 개념을 몰랐지? 라는 생각이 들었다.
즉 현재 Data 시장 화두가 되고있는 Data Lake와 같이 물리적으로 ETL을 하여 Data 통합을 하는 것이아니라,
Logic을 통해 논리적 View를 만들어서 이기종 DB들을 통합하는? 정말 간편하고 희안한 개념이였다.
그리고 그렇게 통합된 이기종 DB를 동일한 문법의 Ansi SQL로 통합 조회할 수 있도록 추상적 계층을 만들어준다는 것인데...
- 이러면 당장 성능보장은?
- 어떻게 수많은 이기종 DB를 표준 SQL 문법으로 다 제공을 할까?
등등의 의문점이 들긴하는데, 더 공부를 해봐야 할 부분이다.
국내 시장에서 사례를 들어본적이 없는 것으로 보아, 뭔가 Data 통합을 하는데 있어서 제약사항이 있거나 비용이 비싼게 아닌가 싶은데 더 알아봐야겠다.
그리고 웃긴게, Gartner 2017 Data Management hype cycle을 보면, 성숙기에 있는 기술이다. ㅋㅋㅋ 그냥 나만 몰랐던 것일까?
아래 조사해서 정리한 내용 일부를 블로깅 해본다
* Data Virtualization concept
Concept |
이종으로 구성된 Data Infra를 논리적으로 하나의 통합된 Resource로 만드는 기술
• RDBMS, NoSQL, Hadoop 같은 이기종의 DB Source를 마치 하나의 DB인 것처럼 동일한 문법의 SQL 로 통합 조회를 가능 • 내부 이종 DB 뿐 아니라, 내/외부(Cloud, 비정형 등) 통합을 위한 Platform 제공 |
동작방식 |
ETL, EAI와 같이 물리적 Data의 이동이 발생하는 것이 아니라, 논리적 View를 생성
• Adaptor를 통해 연결된 Data Source들의 Meta Data를 실시간 구성하여, 커다란 하나의 논리적 Database를 생성 • Data 통합 추상화 계층 |
제공 기능 |
Data Integration을 위해 Data 가공, 성능 향상, 보안 기능을 제공
• Logic을 통해 Data Transformation을 할 수 있는 기능 제공 • In-memory, MPP, Caching, Dynamic Query 최적화를 통해 기본 성능 향상 • Schema에 대한 권한관리/보안 기능 제공 |