본문 바로가기

데이터베이스34

MySQL redo, WAL WAL = Redo 로그라고도 부른다. WAL은 트랜잭션 ACID 중 Durable이랑 가장 밀접하게 연관되어 있다. 하드웨어나 소프트웨어 등 여러가지 장애로 인해 MySQL 서버가 비정상적으로 종료되었을 경우, 데이터 파일에 기록되지 못한 데이터를 잃지 않게 해주는 기능이다. MySQL 서버는 데이터 변경 내용을 로그로 먼저 기록한다. 그 이유는 MySQL은 쓰기보다 읽기 성능을 고려하여 만들어진 자료 구조인 B-tree 를 사용하기 때문에 데이터를 파일에 기록하려면 큰 비용이 필요하다. 이로 인한 성능 저하를 막기 위해 쓰기 비용이 낮은 WAL에 기록해서 디스크와 동기화 시킨다. 하지만 로그 발생할 때마다 로그를 파일에 기록하게 되면 많은 부하가 발생하기 때문에 로그 버퍼에 기록하고 일정한 간격으로 .. 2023. 1. 12.
hbase와 hbase thrift, happyhbase 프로젝트 도중 hbase에 데이터를 넣어야하는데, 골머리를 앓고 있다. 기존에 사용하던 Mongodb, elasticsearch, mysql 등 데이터베이스와 너무 다르다. 자동으로 생성해주던 pk에 대한 audo increment도 없고, 데이터베이스에 테이블을 나눠야하는데 테이블도 없고,,, 못보던 컬럼패밀리도 있고,,,, cell에 대한 개념도 없어서 일단 정리를 하려고 한다. hbase table 구조 HMaster - 도서관 Region server - 대분류 Region - 작은 구역 column family - rdbms에서 테이블이랑 똑같은 듯. / 도서 column qualifier - 컬럼 명 family + qualifier = column cell = 각 row의 column에 대한.. 2023. 1. 4.
오랜만에 하둡 설치기(2) - 주키퍼를 설치하고 HBASE를 얹어보자 https://whiteman97.tistory.com/204 오랜만에 하둡 설치기 빅데이터 취업을 위해 오랜만에 하둡을 다시 설치해 보았다. 환경 우분투 20.04 하둡 3.3.1 master : namenode slave-1 : secondary namenode, datanode 1 slave-2 : datanode 2 sudo apt install -y net-tools ssh vim tree openjdk-8-jdk // whiteman97.tistory.com 환경 요약 192.168.56.101 master / 하둡 마스터, Hbase 마스터, 주키퍼 192.168.56.102 slave-1 / 하둡 데이터노드, hregion server, 주키퍼 192.168.56.103 slave-2 / .. 2022. 12. 30.
redo, undo UNDO, REDO REDO : 다시 하다. > 작업을 다시 하다. // 기록을 다시 실행시켜서 복구시킴. 작업을 되돌리다. // 사용자의 작업을 원상태로 되돌림. REDO 데이터를 동해 마지막 체크 포인트까지 장애의 DB BUFFER CACHE를 복구함. > UNDO를 이용하여 COMMIT 되지 않은 데이터를 모두 ROLLBACK 시킴. * 실행순서 REDO > UNDO 2. 쿼리 수행 중 장애 발생 UNDO 를 이용하여 COMMIT 되지 않은 데이터를 모두 ROLLBACK 시킴. UNDO 기록 INSERT 시, insert 된 로우의 rowid 기록 UPDATE 시, 바뀐 컬럼의 바뀌기 전 값 기록 DELETE 시, 지워진 모든 데이터 기록 2022. 12. 29.

티스토리툴바