캐시 기본 동작
응답 HTTP 메시지에 이상한 글자들은 이미지와 관련된 바이트 코드이다.
첫 번째 요청에서 HTTP메시지는 총 1.1M 용량의 네트워크를 차지하면서 내려와 웹브라우저에 표시된다.
한번 더 요청을 해보자.
두 번째 똑같은 요청에서도 서버에서는 동일한 응답을 내려주는데 똑같은 HTTP 헤더와 바디를 다시 만들어서 내려준다.
즉, 1.1M 용량의 네트워크를 또 다시 차지하면서 내려오는 것이다.
뭔가 비효율적이지 않은가?
정리하자면
캐시가 없을 때
- 데이터가 변경되지 않아도 계속 네트워크를 통해서 데이터를 다운로드 받아야한다.
- 인터넷 네트워크는 매우 느리고 비싸다.
- 브라우저 로딩 속도가 느리다.
- 느린 사용자 경험
캐시를 적용해보자.
HTTP 헤더에 캐시가 유효한 시간을 넣어준다.(cache-control: max-age=60 => 60초)
웹 브라우저에는 내부에 캐시를 저장하는 저장소가 있다.
두 번째 요청부터는 캐시를 먼저 확인한다.
캐시의 유효 시간이 지나지 않았다면
서버에 요청할 필요없이 (네트워크를 탈 필요도 없이)
캐시에서 가져온다.
정리하자면
캐시가 없을 때
- 캐시 덕분에 캐시 가능 시간 동안 네트워크를 사용하지 않아도 된다.
- 비싼 네트워크 사용량을 줄일 수 있다.
- 브라우저 로딩 속도가 매우 빠르다.
- 빠른 사용자 경험
그렇다면 캐시의 유효 시간이 초과됐을 경우를 보자.
시간이 초과되었다면
당연히 서버에 다시 요청을 해야한다.
서버에 요청을 하면 서버는 그 이전과 똑같은 응답을 한다.
새로 데이터를 받으면
캐시 저장소에 있는 기존 데이터(유효 시간이 초과한 데이터)를 지우고
새로운 데이터로 덮어씌운다.
이 과정에서 당연히 네트워크는 1.1M를 쓰게된다.
정리하자면
캐시 시간 초과
- 캐시 유효 시간이 초과하면, 서버를 통해 데이터를 다시 조회하고 캐시를 갱신한다.
- 이때 다시 네트워크 다운로드가 발생한다.
그런데 여기서 이런 상황을 다시 생각해보면
다시 요청한다고 해서 이미지(별)가 변했을까?
이미지는 전혀 변하지 않았다.
그런데 전체를 다시 다운로드 받는다? 이건 비효율적이고 아깝다!
만약에 캐시 유효 시간이 만료가 되고
클라이언트가 가진 데이터와 서버가 가진 데이터가 똑같다면
이렇게 큰 용량의 데이터를 다시 다운 받을 필요가 있을까?
이것을 해결할 수 있는 매커니즘을 알아보자.
검증 헤더와 조건부 요청1
캐시 유효 시간이 초과해서 서버에 다시 요청하는 경우, 다음 두가지 상황이 나타날 수 있다.
- 서버에서 기존 데이터를 변경함
- 이 경우에는 당연히 서버에 새로운 요청을 하여 바뀐 데이터를 받아야 한다.
- 서버에서 기존 데이터를 변경하지 않음
- 이 경우에는 똑같은 데이터를 굳이 네트워크 용량을 차지해가면서 또 받을 필요가 있을까? 고민해보아야 한다.
캐시 시간 초과
- 캐시 만료 후에도 서버에서 데이터를 변경하지 않았다면?
- 생각해보면 데이터를 전송하는 대신에 저장해 두었던 캐시를 재사용하면 된다.
- 단, 클라이언트의 데이터와 서버의 데이터가 같다는 사실을 확인할 수 있는 방법이 필요하다.
클라이언트의 데이터와 서버의 데이터가 같다는 사실을 확인할 수 있는 방법이 필요하기 때문에
검증헤더가 들어가게 된다.
서버에서는 데이터가 마지막으로 수정된 날짜를 헤더에 넣어서 응답을 내려준다.
참고로 위의 예시처럼 한글이 아닌 utc 표기법으로 적어야한다.
이제 캐시에는 캐시 만료 시간과 함께 데이터 최종 수정일이 들어가게 된다.
이제 캐시 시간이 초과되면 어떻게 될까?
60초가 지나서 캐시 시간이 초과되었고
캐시에 데이터 최종 수정일(Last-Modified)이 있다면 웹브라우저가 서버에 요청을 보낼 때
if-modified-since(조건부요청)라는 HTTP 요청 헤더에 현재 웹브라우저가 가지고 있는 데이터 최종 수정일을 서버에 넘긴다.
서버에서는 클라이언트에서 넘어온 날짜와 서버에서 가지고 있는 데이터 최종 수정일과 비교하여 검증한다.
서버에서 클라이언트의 날짜를 보고 클라이언트의 데이터를 아직 더 써도 된다고 판단을 할 경우
HTTP 응답을 304 Not Modified라고 내보낸다. (요청에 대해 기존 데이터와 변경된 데이터가 없음)
cache-control과 Last-Modified는 당연히 들어가 있고
(중요)HTTP Body가 없다! >>> 용량이 확연히 줄어들게 된다!(헤더만 보내기 때문에)
브라우저는 304 Not Modified를 받으면
cache-control과 Last-Modified를 갱신하고 기존 데이터를 쓰게 된다.
위 과정을 정리해보자.
검증 헤더와 조건부 요청
- 캐시 유효 시간이 초과해도, 서버의 데이터가 갱신 되지 않으면
- 304 Not Modified + 헤더 메타 정보만 응답(바디 X)
- 클라이언트는 서버가 보낸 응답 헤더 정보로 캐시의 메타 정보를 갱신
- 클라이언트는 캐시에 저장되어 있는 데이터 재활용
- 결과적으로 네트워크 다운로드가 발생하지만 용량이 적은 헤더 정보만 다운로드
- 매우 실용적인 해결책
검증 헤더와 조건부 요청2
- 검증 헤더
- 캐시 데이터와 서버 데이터가 같은지 검증하는 데이터
- Last-Modified, Etag(밑에서 설명함)
- 조건부 요청 헤더
- 검증 헤더로 조건에 따른 분기
- If-Modified-Since:Last-Modified 사용
- If-None-Match: Etag 사용
- 조건이 만족하면 200 OK
- 조건이 만족하지 않으면 304 Not Modified
검증 헤더와 조건부 요청 예시
- If-Modified-Since: 이후에 데이터가 수정되었다면?
- 데이터 미변경 예시
- 캐시: 2020년 11월 10일 10:00:00 vs 서버 : 2020년 11월 10일 10:00:00
- 304 Not Modified, 헤더 데이터만 전송(BODY 미포함)
- 전송 용량 0.1M(헤더 0.1M, 바디 1.0M)
- 데이터 변경 예시
- 캐시 : 2020년 11월 10일 10:00:00 vs 서버 : 2020년 11월 10일 11:00:00
- 200OK, 모든 데이터 전송(BODY 포함)
- 전송 용량 1.1M(헤더 0.1M, 바디 1.0M)
- 데이터 미변경 예시
Last-Modified, If-Modified-Since 단점
- 1초 미만(0.x 초) 단위로 캐시 조정이 불가능
- 날짜 기반의 로직 사용(정해진 로직)
- 데이터를 수정해서 날짜가 다르지만, 같은 데이터를 수정해서 데이터 결과가 똑같은 경우
- 서버에서 별도의 캐시 로직을 관리하고 싶은 경우
- 예) 스페이스나 주석처럼 크게 영향이 없는 변경에서 캐시를 유지하고 싶은 경우
이러한 단점을 보완하고
서버에서 완전하게 캐시 매커니즘을 컨트롤 할 수 있는 방법이 Etag이다.
Etag, If-None-Match
- Etag(Entity Tag)
- 캐시용 데이터에 임의의 고유한 버전 이름을 달아둠
- 예) ETag: "v1.0", ETag: "a2jiodwjekjl3"
- 데이터가 변경되면 이 이름을 바꾸어서 변경함(Hash를 다시 생성)
- 예) Etag: "aaaaa" -> Etag: "bbbbb"
- 진짜 단순하게 Etag만 보내서 같으면 유지, 다르면 다시 받기!
Etag 매커니즘을 그림으로 보자.
전체적인 요청, 응답 흐름은 비슷하기 때문에 그림으로 쉽게 이해할 수가 있다.
마지막으로 Etag, If-None-Match를 정리해보자
- 진짜 단순하게 ETag만 서버에 보내서 같으면 유지, 다르면 다시 받기!
- 캐시 제어 로직을 서버에서 완전히 관리
- 클라이언트는 단순히 이 값을 서버에 제공(클라이언트는 캐시 매커니즘을 모름)
- 예)
- 서버는 배타 오픈 기간인 3일 동안 파일이 변경되어도 ETag를 동일하게 유지
- 애필리케이션 배포 주기에 맞추어 ETag 모두 갱신
캐시와 조건부 요청 헤더
- Cache-Control: 캐시 제어
- Pragma: 캐시 제어(하위호환)
- Expires: 캐시 유효 기간(하위호환)
Cache-Control
이것이 가장 중요함.
Pragma와 Expires은 하위호환이고 지금은 이 Cache-Control로 다할 수 있음.
- Cache-Control: max-age
- 캐시 유효시간, 초 단위
- Cache-Control: no-cache
- 데이터는 캐시해도 되지만, 항상 원(origin) 서버에 검증하고 사용
- Cache-Control: no-store
- 데이터에 민감한 정보가 있으므로 저장하면 안됨(메모리에서 사용하고 최대한 빨리 삭제)
Pragma
캐시제어(하위호환)
- Pragma: no-cache
- HTTP 1.0 하위호환
- 지금은 거의 사용하지 않지만 하위호환 때문에 필요하면 사용하기도 함
Expires
캐시만료일 지정(하위호환)
- expires: Mon, 01 Jan 1990 00:00:00 GMT
- 캐시 만료일을 정확한 날짜로 지정
- HTTP 1.0부터 사용
- 지금은 더 유연한 Cache-Control: max-age 권장
- Cache-Control: max-age와 함께 사용하면 Expires는 무시됨
검증 헤더와 조건부 요청 헤더
- 검증 헤더(Validator)
- ETag: "v1.0", ETag: "asid93jkrh2l"
- Last-Modified: Thu, 04 Jun 2020 07:19:24 GMT
- 조건부 요청 헤더
- If-Match, If-None-Match: ETag 값 사용
- If-Modified-Since, If-Unmodified-Since: Last-Modified 값 사용
프록시 캐시
한국의 웹브라우저에서 미국의 원 서버에 직접 접근하려고 하면 속도가 느릴 수 밖에 없다.
원 서버에 직접 접근할 때를 그림으로 보면 다음과 같다.
원서버 직접 접근
미국에 있는 원 서버 입장에서 사용자들에게 응답이 너무 느리기 때문에
프록시 캐시 서버를 두고 속도를 개선한다.
프록시 캐시 도입
예를 들어서 유튜브를 볼 때
사람들이 잘 안보는 외국 컨텐츠를 보면 다운로드 속도가 느리다.
하지만 사람들이 많이 보는 컨텐츠를 보면 로딩 속도가 빠르다.
이것은 한국 어딘가의 서버에서 다운로드 받는 것이다.
그림과 같이 중간에서 공용으로 사용하는 public 캐시가 있다.
이것은 최초 요청에는 없기 때문에 첫번째 유저는 보통 느리다.
하지만 한번 다운로드 받아 놓으면 두번째 유저부터는 빠르게 조회할 수 있다.
(private 캐시는 사용자의 웹이나 로컬에 저장되는 캐시이다.)
Cache-Control
캐시 지시어(directives) - 기타
- Cache-Control: public
- 응답이 public 캐시에 저장되어도 됨
- Cache-Control: private
- 응답이 해당 사용자만을 위한 것임, private 캐시에 저장해야 함(기본값)
- public에 저장되면 안됨
- Cache-Control: s-maxage
- 프록시 캐시에만 적용되는 max-age
- Age: 60(HTTP 헤더)
- 오리진 서버에서 응답 후 프록시 캐시 내에 머문 시간(초)
캐시 무효화
Cache-Control
확실한 캐시 무효화 응답
- Q: 엇 캐시를 적용안하면 캐시가 안되는거 아닌가요?
- A: 아니에요. 캐시를 적용 안해도 웹 브라우저들이 GET 요청인 경우에는 임의로 캐시를 해버리기도 한다.
따라서 '이 페이지는 진짜 캐시가 되면 안돼'라면 아래와 같은 설정을 다 넣어주어야 한다.
ex) 사용자의 통장잔고 >> 계속 갱신이 될 수 있기 때문에 캐시를 하면 안됨
- Cache-Control: no-cache, no-store, must-revalidate
- Pragma: no-cache
- HTTP 1.0 하위호환
- 과거 브라우저들에서 HTTP 1.0으로 요청이 올 수도 있기 때문에 넣어준다.
- 보통 이 정도 까지 넣어주면 확실하게 대응이 된다.
Cache-Control
캐시 지시어(directives) - 확실한 캐시 무효화
- Cache-Control: no-cache
- 데이터는 캐시해도 되지만, 항상 원 서버에 검증하고 사용(이름에 주의!)
- Cache-Control: no-store
- 데이터에 민감한 정보가 있으므로 저장하면 안됨(메모리에서 사용하고 최대한 빨리 삭제)
- Cache-Control: must-revalidate
- 캐시 만료 후 최초 조회시 원 서버에 검증해야 함 (밑에서 그림으로 설명)
- 원 서버 접근 실패시 반드시 오류가 발생해야 함- 504(Gateway Timeout)
- must-revalidate는 캐시 유효 시간이라면 캐시를 사용함
- Pragma: no-cache
- HTTP 1.0 하위 호환
<참고>
HTTP에 대해 더 깊이있게 학습할 때에 참고하는 자료 중
RFC 2616 >> 보면 안됨
RFC 7230~7235: https/tools.ietf.org/html/rfc7230 >> 이걸로 모두 개정
해당 글은 인프런에서 김영한님의 <모든 개발자를 위한 HTTP 웹 기본지식> 를 듣고 정리한 내용입니다.