본문 바로가기

전체 글4

데이터 적재 및 저장 데이터 적재 아키텍처 수립 1) 아키텍처 정의 - 아키텍처 정의란 요구사항을 구현하기 위한 기반 기술을 정의하는 과정이다. - 요구사항을 반영하여 하드웨어와 소프트웨어 아키텍처를 정의하는데, 이는 정보시스템 개발, 테스트, 이관을 위한 기술적 기반이 된다. 2) 빅데이터 적재 아키텍처 요구 정의 - 서버 장비 규격 정의 : 주요 서버는 분산 처리를 위한 네임 노드(Name node), 데이터 노드(Data node), 데이터 분석을 위한 분석 서버, 원천 데이터 획들을 위한 수집 서버 등이 있음 - 네트워크 장비 규격 정의 : 용도에 따라 라우터, 스위치 등으로 구성되며 스토리지나 백업 장비를 위한 망 구성의 경우 SAN 스위치 도입을 고려한다. 물리적 포트 수를 고려하여 가용 수량을 결정하며, 대역 폭.. 2022. 6. 19.
데이터 분석 계획 분석 로드맵 설정 (1) 분석 로드맵 개념 단계별로 추진하고자 하는 목표를 명확히 정의하고, 선후행 단계를 고려해 단계별 추진내용을 정렬한다. (2) 분석 로드맵 단계 분석 로드맵 단계는 데이터 분석 체계 도입, 데이터 분석 유효성 검증, 데이터 분석 확산 및 고도화로 이루어진다. 분석 문제 정의 분석 문제의 의미 - '과제'는 처리해야 할 문제(이슈)이며, '분석'은 과제나 관련된 현상이나 원인, 해결방안에 대한 자료를 수집 및 분석하여 의사 결정에 활용하는 활동이다. - 문제라는 것은 기대 상태와 현재 상태를 동일한 수준으로 맞추는 과정이다. - 이 과정에서 제약조건을 파악하고, 잠재 원인을 진단하고 관련된 데이터를 수집, 가공, 분석하는 활동을 수행한다. - 하향식 접근 방식과 상향식 접근 방식을 .. 2022. 6. 16.
빅데이터 기술 및 제도 빅데이터 플랫폼 1) 빅데이터 플랫폼(Bigdata platform)의 개념 - 빅데이터에서 가치를 수출하기 위해 일련의 과정(수집 - 저장 - 처리 - 분석 - 시각화)을 규격화한 기술이다. - 특화된 분석(의료, 환경, 범죄, 자동차 등)을 지원하는 빅데이터 플랫폼이 발전하는 추세이다. 2) 빅데이터 플랫폼 구성요소 빅데이터 플랫폼은 크게 수집, 저장, 분석, 활용 단계로 구성된다. 3) 빅데이터 플랫폼 데이터 형식 빅데이터 플랫폼의 데이터 형식은 대표적으로 HTML,XML,JSON,SCV가 있다. 4) 빅데이터 플랫폼 구축 소프트 웨어 빅데이터 플랫폼 구축을 위한 주요 소프트웨어로는 R, 우지, 플럼, HBase, 스쿱이 있다. 빅데이터와 인공지능 1) 인공지능의 개념 인공지능이란 인간의 지적능력을.. 2022. 6. 14.
빅데이터의 이해 1. 빅데이터의 특징 1) 빅데이터(Big data) 개념 - 빅데이터는 막대한 양(수십 테라바이트 이상)의 정형 및 비정형 데이터이다. - 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미로도 통용된다. - 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 Ackoff.R.L.이 도식화한 DIKW피라미드로 표현할 수 있다. - 데이터를 수집, 저장, 관리, 분석하는 기존의 관리 방법으로는 막대한 양(수십 테라바이트 이상)의 데이터를 처리하기 어려울 때 빅데이터를 사용한다. 2) 빅데이터 특징 빅데이터는 전통적으로 3V(Volume, Variety, Velocitiy)의 특징이 있지만, 최근에는 5V(Veracity, Value 추가), 7V(Validity, Volatility 추.. 2022. 6. 13.