API Gateway의 발전과 Cloud Native API Gateway의 등장 Edge는 아래 그림과 같이 하드웨어 Load Balancers(1995년 ~), 소프트웨어 Load Balancers(2000년 ~), Application Delivery Controllers(ADC) (2005년 ~), API Gateway(2010년 ~)과 같이 애플리케이션 아키텍처 및 개발 워크플로우의 변화에 따라 진화해왔다 이 중에서 API Gateway는 2010년 경에 API가 급증함에 따라 L7 라우팅에 기반한 1세대 API Gateway로 등장하게 되었고, 2015년 경에는 Twitter등의 웹서비스를 이용하는 사용자의 폭발적 증가에 따라 Monolith 애플리케이션이 보다 소규모의 독립적인 서비스로 나뉘..
XAI(eXplainable AI)의 개념 XAI는 설명 가능한 인공지능, 인공지능의 동작과 만들어진 결과를 인간인 사용자가 이해하고 해석할 수 있도록 하는 인공지능을 말한다. 미국 방위고등연구계획국인 DARPA(Defense Advanced Research Projects Agency)는 연구를 통해 AI가 수행한 결과를 AI가 스스로 사용자인 사람이 이해할 수 있도록 하는 AI에 대하여 2016년 부터 5개년 프로젝트로 진행하였다. 학습과정에서 데이터로부터 다양한 패턴을 추출, 분석하여 보이지 않았던 처리 과정의 규칙, 방법 등을 도출하고, AI의 판단을 증별할 수 있도록 데이터를 그래프, 차트 등의 형태로 자세한 설명을 제공할 수 있도록 하였다. 이렇게 되면 사용자는 XAI를 통해 AI의 판단 오류..
Feature Store란 무엇인가? 2017년 Uber가 자산의 AI개발 플랫폼인 Michelangelo를 발표하였을 때 Feature Store라는 개념이 처음으로 소개하였는데, Feature는 학습 및 예측을 할 데이터의 특성, 속성을 의미하며, 이를 저장하여 업데이트와 재사용을 할수 있는 저장소를 Feature Store라고, 데이터를 수집 및 정제하고 목적에 맞는 Feature를 발굴하는 작업이 머신러닝 모델 개발에서 가장 시간이 많이 소요되는 부분으로 Feature Store에 저장된 Feature Set을 재사용하여 시간과 비용을 절감하였다. Feature Store의 동작원리 Feature는 모델의 학습, 훈련과 예측, 추론 모두에 사용되는데, 데이터 플랫폼으로부터 대규모로 만들어지는 Fe..
Time Series DB의 개념 Time series DB(Time series Database)는 Time-Value 쌍으로 이루어진 시계열 데이터를 저장, 처리, 분석할 수 있는 데이터베이스 시스템이다. 시계열 데이터는 시간에 따라 변화하는 데이터를 의미한다. 예를 들어, 센서 데이터, 웹 로그 데이터, 주가 데이터 등이 시계열 데이터의 예시이다. Time Series DB의 등장배경 기존의 관계형 데이터베이스(RDBMS)는 시계열 데이터를 다루기에 어려움이 있었다. 시계열 데이터의 특성상 데이터의 양이 방대하고, 매 순간마다 새로운 데이터가 발생하기 때문이다. RDBMS는 높은 처리 속도를 지원하지 않았고, 대량의 데이터를 저장하면 성능에 문제가 생기는 단점이 있다. 이에 따라, 시계열 데이터를 ..
EdgeX Foundry의 개념 EdgeX Foundry는 엣지 컴퓨팅 환경에서의 디바이스 관리와 데이터 통합을 위한 오픈 소스 프레임워크입니다. 엣지 컴퓨팅은 디바이스(센서, 액추에이터 등)들이 분산되어 있는 환경에서 데이터를 수집, 처리, 분석하고, 서비스를 제공하는 컴퓨팅 환경을 의미합니다. EdgeX Foundry는 이러한 엣지 컴퓨팅 환경에서의 다양한 디바이스와 데이터를 효율적으로 관리하고, 통합하여 다양한 애플리케이션과 서비스를 개발할 수 있도록 도와줍니다. 즉, EdgeX Foundry는 엣지 환경에서 동작하는 오픈 소스 기반의 프레임워크로, 엣지 디바이스와 클라우드 간의 데이터 통합 및 협업을 위한 표준화된 인터페이스와 기능을 통해 엣지 환경에서의 데이터 처리, 분석, 제어 등의 기능을 효..
Data Reliability Engineering(DRE)의 개념 Data Reliability Engineering(DRE)이란 데이터 품질을 엔지니어링 측면에서 접근하여 데이터 생명기주 동안에 조직 전체에서 고품질 데이터를 손쉽게 사용하고 신뢰도를 높이는 엔지니어링 방법을 말한다. Data Reliability Engineering(DRE)은 시스템의 데이터 무결성, 가용성, 보안성, 성능 등과 같은 요소들을 고려하여 데이터 시스템을 설계하고 운영하는 분야로 데이터 시스템의 안전성을 유지하고 더 나은 성능을 발휘할 수 있도록 지원한다. Data Reliability Engineering(DRE)의 등장배경 Data Reliabiltiy Engineering은 다음과 같이 데이터의 중요도가 증가함에 ..
AKraino Edge Stack 이란? LF Edge 프로젝트의 하나로 프로비져닝을 자동화 하고 백앤드에 유연성과 확장성을 제공해 기업이 클라우드 백앤드에서 앳지 서비스를 샐행할 수 있도록 지원하는 Linux Foundation에서 주최하고 있는 오픈 소스 기반의 엣지 클라우드 플랫폼이다. 여기서, 엣지 클라우드는 클라우드 컴퓨팅 리소스를 사용자에게 가까운 위치에 배치하여 빠른 데이터 처리와 낮은 지연 시간을 제공하는 컴퓨팅 환경을 말한다. AT&T, 인텔이 주도하고 있으며, 주로 통신사를 위한 엣지 솔루션과 5G, IoT, 네트워크 기기들에 대한 지원을 가상머신, 컨테이너 환경에서 제공하는 것을 목표로 하고 있다. Akraino Edge Stack은 다양한 엣지 컴퓨팅 시나리오를 지원하기 위해 설계되..
Kafka Streams는 무엇이고 어디에 쓰는가? 실시간 데이터 피드를 관리하기 위한 통일성, 대량의 처리, 낮은 지연시간을 위해 개발된 오픈소스 메시지 브러커인 Kafka기반의 Stream 데이터를 처리, 가공하기 위해 개발된 클라이언트 라이브러리(API)로 이벤트 시간과 처리시간을 분리해서 다루고 다양한 시간 간격 옵션을 지원하여 스트림 데이터 처리를 간단하고 효율적으로 구현가능하게 하는 것이 Kafka Streams이다. 다시말해, 분산이벤트 스트리밍 플랫폼으로서 프로듀셔와 컨슈머를 통해 데이터를 생산하고 받아와서 처리하는 곳에 Kafka를 사용해왔는데, 컨슈머로 받아와서 처리하는 것보다 더 빠르고 안전하게 실시간으로 처리할 수 있게 Kafka에서 지원해주는 것이 Kafka Streams이다 Ka..