aboutdb

1.1 빅데이터의 시대1.1.1 빅데이터의 개념- 데이터의 규모에 초점을 맞춘 정의기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 데이터 - 업무 수행 방식에 초점을 맞춘 정의다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 빅데이터의 3대 요소 (3V)Volume, Velocity, Variety 1.1.2 빅데이터의 출현 배경1.2 하둡이란?하둡은 대용량 데이터를 분산처리할 수 있는 자바 기반의 오픈소스 프레임워크입니다. 1.2.1. 왜 하둡인가?기존 RDBMS 는 데이터가 저장된 서버에서 데이터를 처리하는 방식이지만,하둡은 여러 대의 서버에 데이터를 저장하고, 데이터가 ..

아래 매뉴얼은 RHEL 5 버전이 설치된 4 개의 노드를 사용하여 Hadoop 운영 환경을 구축하는 매뉴얼입니다. 먼저 4개의 서버에 RHEL 5 를 설치하면 됩니다.참고로 이 매뉴얼에서는 아래와 같은 내용으로 설치했습니다.* CPU - Intel i7 2.9 GHZ (4 core)* RAM - 200 MB (1 노드당)*HDD - 10GB (1 노드당) ( 리눅스 설치시 파티션 내역은 아래와 같습니다/ --------- 전부swap ---- 512 MB * ip : Vmware 에서 NAT 로 설치 -> IP 확인하여 고정 설정하였습니다./etc/hosts 파일에 아래와 같이 설정하고 neat 로 eth0 에 각 IP 를 직접 지정했습니다. 192.168.239.141 hadoop1192.168.239..

1. 논리 모델인 ERD 를 테이블 관계도 (Table Relationship Diagram) 로 전환한다.2. 테이블 관계 이외의 데이터베이스와 관련된 기타사항을 설계한다.3. 분산 데이터베이스를 설계한다. 1. 관계형 테이블로 전환논리적인 데이터 모델링을 통해 산출한 ERD 를 관계형 데이터베이스로 구축할 수 있도록 테이블 관계도로 전환하는 작업을 진행한다. 관계형 테이블로 변환해야 하는 항목은- 엔티티타입은 테이블로 전환한다.- 주식별자는 PK 로 변환한다.- 속성은 컬럼으로 변환한다.- 관계에 의한 외부 식별자는 FK 로 변환한다. 엔티티타입을 테이블로 전환한다.(1) 독립 엔티티타입은 독립 테이블로 전환된다.(2) 완전 종속 엔티티타입은 완전 종속 테이블로 전환된다.(3) 부분 종속 엔티티타입은..

실제 프로젝트에서 데이터 모델 검토 단계는 세 개의 조직에서 이루어진다.(1) 모델링을 수행한 모델러(2) 시스템 통합팀이나 품질 보증팀(3) 외부 감리 인원 초청 ERD 는 분석 단계 활동의 가장 중요한 결과물로서 업무적 측면, 모델 규약 측면의 두 가지 측면에서 검토가 이루어진다. 1. 엔티티타입 검토엔티티타입을 검토하는 대표적인 질문 내용은 다음과 같다. 선정된 PK가 업무적으로 발생하는 자료의 유일성을 보장하는가?- 주요 오류 유형사례1) 자료의 유일성을 보장할 수 없는 항목에 의한 PK 선정2) 일반적으로 필요 이상의 항목을 PK 로 선정하는 경우 선정된 PK는 효율적인 모습인가?엔티티타입 내에서 PK 를 정하는 기준은 다음과 같다.1) 선정된 속성은 해당 업무에 대해서 대표성을 가지는가?2) ..

상관 모델링이란 정보화 시스템을 구축하기 위해 그 업무에 존재하는 무엇 (데이터) 에 대해 무슨 일이 행해지고 (프로세스) 있는지또는 무슨 일 (프로세스) 에 의해 무엇 (데이터) 이 영향을 받는지 분석하는 방법이다. 1. CRUD MATRIX 상관 모델링단위 프로세스가 엔티티타입에 영향을 주는 방법으로는 신규, 조회, 수정, 삭제의 네가지에 반드시 포함되어 있다.CRUD 는 CREATE 의 "C", READ 의 "R", UPDATE 의 "U", DELETE 의 "D" 를 의미한다. 점검해야할 사항- 모든 엔티티타입에 CRUD 가 한 번 이상 표기되었는가?- 모든 엔티티타입에 "C" 가 한 번 이상 존재하는가?- 모든 엔티티타입에 "R" 이 한 번 이상 존재하는가?- 모든 단위 프로세스는 하나 이상의 엔..

프로세스 모델링이란정보시스템을 구축하기 위해 해당 업무에 어떤 프로세스가 존재하는지 또는 업무처리에 필요한 프로세스는 무엇인지 분석하는 방법다시말해 업무에 필요한 프로세스를 시스템 구축 방법론을 사용하여 분석하고 설계하여 정보화시스템을 구축하는 것이다. 1. 업무 기능 분해업무 기능분해의 목적첫째, 정보화 시스템을 구축하는 가장 최저 단위의 단위 프로세스를 도출하기 위함둘째, 전체 업무의 체계를 프로세스를 중심으로 도식화하여 업무에 대한 기능을 파악하는 것 업무 기능 분해의 개념업무기능이란 기업의 임무를 한층 더 멀리 조명하여 하나로 표현하는 완벽한 단위 업무 그룹이다.정보 전략 계획을 수립하는 사람은 최상위 업무 기능을 업무에 집중할 수 있도록 작게 그리고 낮은 수준의 업무 기능으로 분리한다. 업무 프..

1. M:N 관계 해소 방법기본적인 M:N 관계 해소 방법 - 관계 엔티티타입 분리PK 에 의한 M:N 관계의 해소 방법 - 주식별자 통합속성에 의한 M:N 관계의 해소 방법 - 부모 엔티티타입에 속성 추가 꼭 기억해야할 것은 관계 엔티티타입이 발견되는 시점에는 반드시 먼저 엔티티타입간 관계를 검증하여관계 엔티티타입을 도출하도록 해야 한다는 것이다. 2. 1:1 관계 해소 방법별개의 엔티티타입으로 따로 표현하는 방법하나의 엔티티타입으로 완전히 통합하는 방법부분 통합을 하는 방법슈퍼 엔티티타입 생성 3. 엔티타타입의 통합엔티티타입을 통합하는 목적1) 정보를 조회하는 작업이 용이해진다.2) 엔티티타입간 중복성이 제거된다.3) 동일한 규칙에 따라 하나의 엔티티타입으로만 표현이 가능하다.4) ERD 의 표현이 ..

잘 정의된 분석 단계의 데이터 모델에는 다음과 같은 특징이 있다.- 해당 업무의 현재 모습뿐만 아니라 계획, 정책, 전략을 포함- 명명법, 도메인 등 정의된 규칙에 따른 일관성 있는 모델- 실무 업무 전문가가 참여하여 실무에 대한 내용이 충분히 포함된 내용- 물리 설계로의 전환이 효율적으로 이루어질 수 있는 모델- 각각의 엔티티타입, 속성, 관계 등에 대한 기본 업무 배경의 객관적 증거 존재- 업무 병행이나 확장이 발생할 때 수용 가능한 모델 1. 엔티티타입정의↑ 데이터모델 검증 엔티티타입 검증, 관계 검증, 속성 검증, 도메인 검증↑ 통합화 엔티티타입 통합↑ 세부 사항 정의 속성 상세 정의, 정규화, 도메인 정의, 속성 규칙 정의↑ 식별자 정의 주식별자 정의, 보조 식별자 정의, 식별자 업무 규칙 정의..

데이터 모델링정보화 시스템을 구축하기 위해 어떤 데이터가 존재하는지 또는 업무에 필요한 정보는 무엇인지 분석하는 방법 모델링의 3가지 주요 요소* 데이터 관점 - 업무가 어떤 데이터와 관련이 있는지, 데이터간의 관계는 무엇인지에 대해서 모델링하는 방법 (What, Data)* 프로세스 관점 - 업무를 통해 어떤 일을 처리하는지, 무엇을 해야하는지를 모델링하는 방법 (How, Process)* 데이터와 프로세스 상관 관점 - 업무에서 일을 처리하는 방법에 따라 데이터가 어떻게 영향을 받는지 모델링하는 방법 (Interaction) 정보공학 모델링의 경우 데이터와 프로세스를 분리하여 모델링하는데 비해객체지향 모델링에서는 데이터와 프로세스를 동시에 모델링한다. 데이터 모델링을 하는 주요한 이유는업무 정보를 구..

1. Network 관련 대기이벤트들- SQL*Net message from/to client- SQL*Net more data from/to client- SQL*Net message from/to dblink- SQL*Net more data from/to dblink 이들 이벤트가 성능문제와 연관되는 경우는 보통 다음과 같다.- 네트웍 (Network) 속도가 느린 경우- SQL 실행회수 (Execute count) 가 불필요하게 높은 경우- 어플리케이션의 구현방식에 문제가 있는 경우