본문 바로가기

분류 전체보기230

kafka 클러스터 구축하기(AWS) 먼저 카프카의 탄생 배경에 대해 알아보자. 현재 카프카는 링크드인(LinkedIn)에서 개발되고 오픈소스로 풀려있고 빅데이터 시장에서 spark와 같이 없어서는 안될 중요한 오픈소스이다. 카프카는 스타트업에서도 보다 빠른 app개발을 위해 사용되고, 대기업과 같은 아키텍처가 큰 서비스에서도 주요하게 자리잡고 있다. 카프카는 링크드인에서 만들어졌으며, 링크드인에서는 파편화된 데이터 수집 및 분배 아키텍처를 운영하는데 여러 오픈소스들을 조합해서 사용했기 때문에 구현에 어려움이 존재했다. 데이터를 생성하고 적재하기 위해서는 데이터를 생성하는 소스 app과 데이터가 최종 적재되는 타킷 app을 연결해야한다. 아키텍처가 작을 경우에는 문제가 되지 않는데, 서비스가 커짐에 따라 아키텍처가 커지면 소스app과 타킷 .. 2022. 5. 8.
인프라 구축을 위한 기본적인 네트워킹 우리가 아무리 많은 애플리케이션을 개발 및 구현해도 이것을 사용하지 않으면 아무 의미가 없다. 이번 포스팅에서는 우리가 만든 애플리케이션을 배포하기위해 필요한 네트워킹 지식을 작성한다. 한국의 IP할당은 KISA(한국인터넷진흥원)에서 수행한다. 하지만 모든 장비에 IPv4 IP를 부여하면 IP의 부족에 많은 문제가 생긴다. 이러한 문제점을 해결하기 위해 나온것이 ipv6이지만, 이 ipv6의 문제점은 기존 ipv4와는 다르게 128비트 주소 체계를 사용한다는 점이다. 우리의 IPv4환경의 보안이랑 IPv6보안 환경은 생각보다 큰 문제를 일으킨다. ipv4환경에서는 ipv6의 장비들을 탐지할 수 없어, ipv6 장비로 해킹을 시도할 경우 문제를 인식할 수 없다. 또한 ipv6의 패킷의경우 DDOS공격이 하.. 2022. 5. 2.
AWS - VPC, GATEWAY, PublicIP, PrivateIP, Route 알아보기 0. 서브넷팅 들어가기 앞서 서브넷팅을 배우고 넘어간다. 우리가 사용하는 ipv4의 ip에서 서브넷은 네트워크의 영역을 부분적으로 나누는것을 의미한다. 이러한 서브넷을 만들 때 사용하는 것이 바로 서브넷 마스크이고, ip주소에서 network id와 host id를 분리하는 역할을 함. 이 사진에서 /24 또는 /25의 의미는 24 or 25개는 prefix를 의미하고 network id를 25개의 bit로 할당한다는 의미이다. 여기서 192.168.32.0/25는 network address라서 사용이 불가능하고, 192.168.32.127/25는 broadcast address라 사용이 불가능하다. 1. VPC (Virtual Private Cloud) VPC란 사용자가 클라우드(AWS, AZURE,.. 2022. 5. 1.
도커 볼륨 (feat. mysql & logging) 나는 도커를 배우면서 가장 헷갈렸던 것이 도커의 volume이다. 다른건 다 배포도 잘 되고 dockerfile도 작성이 잘 되는데, docker volume는 눈에 잘 보이지가 않아서 그런가... 이해가 잘 안됐다. 오늘 도커를 득도하면서 배운점을 조금 정리하고 자야겠다. 도커를 공부하면 dockerfile로 이미지를 구성하고 docker-compose로 이미지를 상호 연결 및 부가적인 요소를 추가하는 것을 알 수 있을 것 이다. 도커 volume도 도커 이미지를 run 할 때 정의를 해주는 것이 처음 배울때 hello world(?) 정도로 생각한다. 도커 volume은 mysql, mongodb, 각 종 log 등 다양한 환경을 위하여 존재한다. 도커이미지를 실행시키는 방법은 yml파일로 가능하지만.. 2022. 4. 28.

티스토리툴바