⑴ GPT(Generative Pre-trained Transformer)란 GPT(Generative Pre-trained Transformer)는 OpenAI가 대량의 데이터로 다양한 작업을 수행할 수 있도록 사전 학습한 Transformer 모델이다. BERT와 마찬가지로, 특정 작업을 잘 수행할 수 있도록 사전 학습된 모델을 Fine-tuning 할 수 있다. GPT는 일방향으로 나아 가면서 학습 및 예측을 하기 때문에 문장을 생성해 나가는 데 강점을 지닌다. 이전까지의 단어들을 토대로 파악한 문맥에 맞게 단어를 생성하고 나면, 이 생성된 단어 역시 문맥 이해에 반영되고, 업데이트 된 문맥 정보를 기반으로 또 다음 단어를 생성하는 과정이 반복적으로 일어난다. 이 과정은 생성되는 문장이 일관된 문맥..
Green Softwaref란 무엇인가? 지속가능한 소프트웨어(sustainable software) 라고도 하는 Green Software(친환경 소프트웨어는 에너지 소비를 제한하고 환경에 미치는 영향을 최소화하도록 설계, 개발 및 구현되는 소트트웨어를 말한다. Green Software Engineering은 소프트웨어 아키텍처, 하드웨어, 데이터센터 설계, 전기 시장 및 기후변화를 고려한다. 또한 Green Software Engineering은 온실가스 배출량을 줄이고 회사의 탄소 발자국을 줄이는 것을 목표로 한다. Green software는 다양한 방식으로 구현될 수 있습니다. 예를 들어, 효율적인 알고리즘을 사용하거나, 클라우드 컴퓨팅 리소스를 최적으로 활용하여 서버의 전력 소비를 줄이는 등..
EdgeX Foundry의 개념 EdgeX Foundry는 엣지 컴퓨팅 환경에서의 디바이스 관리와 데이터 통합을 위한 오픈 소스 프레임워크입니다. 엣지 컴퓨팅은 디바이스(센서, 액추에이터 등)들이 분산되어 있는 환경에서 데이터를 수집, 처리, 분석하고, 서비스를 제공하는 컴퓨팅 환경을 의미합니다. EdgeX Foundry는 이러한 엣지 컴퓨팅 환경에서의 다양한 디바이스와 데이터를 효율적으로 관리하고, 통합하여 다양한 애플리케이션과 서비스를 개발할 수 있도록 도와줍니다. 즉, EdgeX Foundry는 엣지 환경에서 동작하는 오픈 소스 기반의 프레임워크로, 엣지 디바이스와 클라우드 간의 데이터 통합 및 협업을 위한 표준화된 인터페이스와 기능을 통해 엣지 환경에서의 데이터 처리, 분석, 제어 등의 기능을 효..
Data Reliability Engineering(DRE)의 개념 Data Reliability Engineering(DRE)이란 데이터 품질을 엔지니어링 측면에서 접근하여 데이터 생명기주 동안에 조직 전체에서 고품질 데이터를 손쉽게 사용하고 신뢰도를 높이는 엔지니어링 방법을 말한다. Data Reliability Engineering(DRE)은 시스템의 데이터 무결성, 가용성, 보안성, 성능 등과 같은 요소들을 고려하여 데이터 시스템을 설계하고 운영하는 분야로 데이터 시스템의 안전성을 유지하고 더 나은 성능을 발휘할 수 있도록 지원한다. Data Reliability Engineering(DRE)의 등장배경 Data Reliabiltiy Engineering은 다음과 같이 데이터의 중요도가 증가함에 ..
AKraino Edge Stack 이란? LF Edge 프로젝트의 하나로 프로비져닝을 자동화 하고 백앤드에 유연성과 확장성을 제공해 기업이 클라우드 백앤드에서 앳지 서비스를 샐행할 수 있도록 지원하는 Linux Foundation에서 주최하고 있는 오픈 소스 기반의 엣지 클라우드 플랫폼이다. 여기서, 엣지 클라우드는 클라우드 컴퓨팅 리소스를 사용자에게 가까운 위치에 배치하여 빠른 데이터 처리와 낮은 지연 시간을 제공하는 컴퓨팅 환경을 말한다. AT&T, 인텔이 주도하고 있으며, 주로 통신사를 위한 엣지 솔루션과 5G, IoT, 네트워크 기기들에 대한 지원을 가상머신, 컨테이너 환경에서 제공하는 것을 목표로 하고 있다. Akraino Edge Stack은 다양한 엣지 컴퓨팅 시나리오를 지원하기 위해 설계되..
Kafka Streams는 무엇이고 어디에 쓰는가? 실시간 데이터 피드를 관리하기 위한 통일성, 대량의 처리, 낮은 지연시간을 위해 개발된 오픈소스 메시지 브러커인 Kafka기반의 Stream 데이터를 처리, 가공하기 위해 개발된 클라이언트 라이브러리(API)로 이벤트 시간과 처리시간을 분리해서 다루고 다양한 시간 간격 옵션을 지원하여 스트림 데이터 처리를 간단하고 효율적으로 구현가능하게 하는 것이 Kafka Streams이다. 다시말해, 분산이벤트 스트리밍 플랫폼으로서 프로듀셔와 컨슈머를 통해 데이터를 생산하고 받아와서 처리하는 곳에 Kafka를 사용해왔는데, 컨슈머로 받아와서 처리하는 것보다 더 빠르고 안전하게 실시간으로 처리할 수 있게 Kafka에서 지원해주는 것이 Kafka Streams이다 Ka..
glTF의 정의 glTF(GL Transmission Format)는 3차원 장면과 모델을 표현하는 파일 포멧이며, 3D 모델 정보를 JSON(JavaScript Object Notation)표준으로 저장하는 파일형식이다. "Kronos Group"이 개발을 리드하는 무료 표준으로 2016년 HTML5 DevCon에서 처음 발표되었다. Kronos Group은 2000년 ATI Technologies, Intel, Nvidia, SGI 등의 주도로 설립되었으며, 현재 약 120개 기관이 참여준인 비영리 컨소시엄으로, 별령 컴퓨팅, 컴퓨터 그래픽스, 컴퓨터 비전, 센서 처리와 동적 미디어 등의 저작과 가속을 위한 Royalty없는 개방형 표준을 개발하고 있다. 표준으로 Vulcan™, OpenGL® ES,..
아파치 플링크(Apache Flink)의 개념 플링크(Flink)는 독일어로 민첩함을 뜻하는 단어로 베를린 TU대학교에서 시작된 아파치 프로젝트의 하나로, 분산 처리를 위한 오픈 소스 데이터 스트림 처리 및 배치 처리 프레임워크이다. Flink은 데이터 처리를 위한 고성능, 고가용성, 확장성을 제공하며, 대용량의 데이터를 실시간 및 배치 처리를 통해 분석하고 처리하는 데 사용된다. 다양한 데이터 소스와 데이터 형식을 지원하며, 복잡한 데이터 처리를 위한 고급 기능을 제공하여 실시간 스트림 처리와 배치 처리를 하나의 통합적인 환경에서 처리할 수 있있다. 플링크(Flink)는 는 Data Stream에 대한 Stateful 연산을 수행하는 분산 처리 엔진으로 Event Stream, tables, graph..