본문 바로가기

분류 전체보기230

transformer을 이용한 시계열 예측 Q(query), K(key), V(value)를 이용하여 연산을 진행하며RNN 계열에서 발전한 LSTM 다음 seq2seq는 lstm의 셀구조를 이용한 encoder와 decoder, 고정된 context vector로 구성된다. 주로 번역기에서 많이 사용됐는데, 학습 구조는 encoder에 번역하고 싶은 문장을 넣는다. 그리고 디코더는 변경하고 싶은 언어로 출력되게 만든다. 하지만 여기서는 고정된 크기의 vector에 encoder에서 번역하고 싶은 모든 정보를 담아야한다는 것이다. 번역하고 싶은 문장의 길이가 너무 길거나 짧으면 강제적으로 채널을 줄이고 늘리는 과정에서 정보의 손질이 발생하여 성능이 제대로 나오지 않는다는 점이다. 항상 연산량과 정보의 손실은 tradeoff관계이기 때문이다. 201.. 2022. 5. 16.
시계열 예측을 위한 lstm 바닐라 RNN기법(기본 rnn기법)에는 입력 시퀸스가 길어지는 장기 학습 과정에서 학습 곡선의 기울기가 0이 되어버리는 Vanishing gradient problem이 발생한다. 이러한 문제로 인해 lstm(long short term memory)가 고안되었다. lstm에는 vanishing gradient problem을 해결하기위해 셀이라는 구조를 고안하였다. 기본적으로는 RNN과 같은 체인 구조로 구성되어있다. 하지만 하나의 STATE에는 입력, 출력, 망각 게이트로 구성되어있다. 망각게이트는 이전의 어떤 정보를 버릴지 정한다. 입력 게이트는 새로 들어온 정보 중 어떤 정보를 STATE에 저장할지 정한다. 시그모이드를 취해서 어떤 정보를 저장할지 정하고 tanh를 취해서 새로운 vector를 만.. 2022. 5. 16.
OSI 7계층의 이해 사용자가 다른 서버에 데이터를 보내고 싶다고 가정하자. 1. 사용자는 네트워크에 접속을 해야한다 - HTTP나 HTTPS등을 사용하여 네트워크에 접속한다. 애플리케이션 계층(7) 2. 사용자가 네트워크에 접속하여 데이터를 보내야한다. 데이터들을 각각 알맞는 타입의 데이터 형식으로 변환한다. - 표현계층 // JPEG, JPG, MP4 등 -6계층 3. 데이터가 준비되었고, 서버와 사용자간 통신 채널이 유효한지 확인, 연결 및 유지해야한다.(포트 연결) - 5계층. SSH(22번 포트), TLS(443) 등 4. 포트간 연결이 되었고, 발신지에서 목적지간 전송을 담당함. TCP, UDP가 여기에 해당함. -4계층 5. 발신지에서 목적지간 최적의 경로를 지정함. 라우팅기능. -3계층, IP, ICMP 등 6.. 2022. 5. 12.
데이터의 직렬화(serialization) 말이 좀 어려운데, 직렬화란 무엇일까? 프로그램 내부에서 사용되는 메모리 주소에 담긴 데이터들을 byte 형태의 데이터로 변환하여 다른 시스템에서도 사용할 수 있게 만들어주는 기술을 의미한다. 데이터는 2가지로 나뉜다. 1. reference : 참조 2. value : 값 참조 변수란, 예를들면 포인터가 있을 것이다. 주소를 참조하여 그 주소에 들어있는 값을 가지고 오는 변수를 의미한다. 우리가 통신, 저장할때 참조 형식의 데이터는 사용이 불가능하다. python을 예시로 들어보자. 클래스를 하나 만들어주고, 그 클래스에 대한 인스턴스를 하나 만들면, 인스턴스의 print해보면 주소값이 나온다. 저 메모리 주소 값은 프로그램을 종료 후 다시 실행하면 다른 메모리 주소에 데이터가 쓰인다. 이 메모리 주소.. 2022. 5. 8.

티스토리툴바