[컴퓨터 밑바닥의 비밀] 3장. 메모리 Memory

3.1 메모리의 본질, 포인터와 참조

 

1bit = 0, 1 딱 2가지 정보만 표현할 수 있는 단위.

1byte = 8bit = 2^8 = 256가지 = 0 ~ 255 숫자 표현.

4byte = 2^32 = 4,294,967,297개

12byte = int형 변수 3개 표현. 구조체. 객체.

 

• 모든 바이트는 메모리 주소를 가지고 있다. memory address. addressing.
• 4byte 정도는 되어야 숫자를 표현하기에 충분하기에 int 형 변수의 크기가 4byte로 고착화 되었다.(int 형 변수의 크기는 32bit, 64bit 시스템에 따라 다르다.)

• 

- 8byte 크기의 메모리.

- 0~7이 메모리 주소.

- 1+2 연산을 하고 싶을 때 숫자 1,2를 메모리에 할당해야 한다.

- 메모리 주소와 값의 표현이 모호하니 주소는 $를 붙인다.

- 즉, 변수는 값 뿐만 아니라 메모리 주소를 저장할 수 있다.(포인터)

 

1. 간접 주소 지정 방식: 주소1 → 주소2 → 데이터        # 어셈블리어 수준
2. 직접 주소 지정 방식 : b → 데이터                             # 고급언어 수준

 

포인터 vs 참조

포인터: 메모리를 직접 읽고 쓸 수 있음.

참조: 데이터 복사 필요없이 포인터를 한번 더 추상화 한 것. 연산은 불가.

3.2 프로세스는 메모리 안에서 어떤 모습을 하고 있을 까?

 

커널

 

스택 영역 : 함수 호출에 사용. 매개변수, 반환 주소, 레지스터 등의 정보.

힙 영역 : 동적 메모리 할당에 사용. malloc

 

데이터 영역

코드 영역 : 코드, 데이터 영역은 실행파일 초기화할 때 생성.

 

• 프로세스의 코드 영역은 0x400000 에서 시작
• 즉, 서로 다른 프로세스 두개가 메모리를 할당하기 위해 malloc 함수를 호출하면 0x7f64cb8을 반환하는 등 동일한 시작 주소를 반환할 가능성이 매우 높다.

 

• 실제 물리 메모리에서 보여주는 모습은 위와 같다.
• 동일한 크기의 chunk 조각으로 나뉘어 물리 메모리에 저장된다. 모든 조각은 물리 메모리 전체에 무작위로 흩어져 있다.
• 가상 메모리와 물리 메모리를 연결해 주는 mapping 관계를 나타내는 페이지 테이블(page table)이 있다.
• 즉, 두 프로세스가 동일한 메모리 주소에 기록하더라도 동일한 가상 메모리 주소를 다른 물리 메모리 주소에 mapping 사상하기에 문제가 발생하진 않는다.

 

3.3 스택영역

• ABCD 함수 호출은 스택영역과 관련이 있다.
• 모든 함수는 호출, 반환의 흐름이 후입 선출 구조인 스택으로 만들어진다. (call stack)
• 이 때 프로세스 스택 영역의 높은 주소가 맨 위에 있고 낮은 주소 방향으로 커진다.(아래로)
• 스택 영역은 함수 호출 깊이에 따라 증가하고 함수 호출이 완료될 수록 감소한다.
• 반환 정보가 스택 프레임 하단에 추가저장된다.

• 매개변수 값도 스택 프레임에 추가추가 된다.
• 지역변수는 레지스터 수보다 많을 때 스택 프레임에 저장된다. (기본은 레지스터에 저장)
• 레지스터에 지역 변수를 저장하기 전에 레지스터에 원래 저장되었던 초기값을 꺼냈다 레지스터를 사용하고 나면 다시 그 초기값을 저장해야 한다. 이를 위해 레지스터 초기값도 스택 프레임에 저장된다.

• 이 모든 내용이 위 그림처럼 스택영역 내부에 있다. 스택영역(함수 A 스택프레임, 함수 B 스택프레임)
• 즉, 너무 큰 지역 변수를 만들거나 함수 호출단계가 너무 많으면 stack overflow 가 발생하니 주의하자.
• stack overflow 를 막기 위해 stack 영역 밑에 유휴 영역이 있다.(free segment)

 

3.4 힙 영역

• 힙 영역: 프로그래머가 직접 관리하는 특정 메모리 영역.
• 힙 영역에 할당되는 메모리는 함수의 호출 횟수와 관계없이 프로그래머가 해당 메모리 영역의 사용이 완료되었다고 확신할 때까지 유효하다.
• C/C++ 의 malloc 함수, new 예약어.해제는 free 함수.

• 힙 영역의 문제이자 핵심은 메모리 할당 요청의 크기가 일정하지 않아서 적절할 메모리를 할당해야 한다는 것.
• 메모리 할당자 안의 여유 메모리 조각이 부족해지면 이 역시 유휴 영역에 점유된다.

즉, stack 영역과 heap 영역의 메모리가 부족해지면 유휴 공간이 점점 작아지게 된다.

• 리눅스에서는 heap 에서 부족한 메모리를 유휴공간에서 할당하기 위해 brk 라는 시스템 호출을 사용한다.
• 이 때, malloc의 호출이 반환되면 프로그래머가 받아 오는 메모리는 가상 메모리이다. 가상 메모리는 사용되는 순간에 물리 메모리를 할당하게 된다. 즉, 물리 메모리와 가상메모리가 연결되어 있지 않으면 페이지 누락 오류  page fault 가 발생한다.

 

<Heap 에 할당된 메모리 1개 내부>

1) header 정보: 4byte(32bit) 크기의 header에 정보를 갖고 있다.

                         31bit: 조각 크기 기록.

                         1bit: 조각의 할당/유후 상태정보.

     → 모든 메모리 조각은 header 로 찾아갈 수 있다.

2) 페이로드(payload): 할당 가능한 메모리 영역.

3) 메모리 전체 끝(0/1)에도 4byte로 끝을 알려주는 특수 표시가 있다.

 

<Heap의 여유 메모리 할당 전략>

1) 최초 적합 방식: 처음부터 쭉 찾기. 단순한 방법.

2) 다음 적합 방식: 이전 할당 위치부터 쭉 찾기.

3) 최적 적합 방식: 할당 가능한 여유 공간을 모두 찾고 그 중에서 최적의 공간 찾기. 메모리를 더 잘 활용할 수 있지만 1)2) 방법보다 느리다.

 

<Heap 메모리 해제하기>

- 주소만 전달하면 주소 -4 로 header 정보를 얻을 수 있어서 간단히 해제 가능하다.

- 인접한 메모리 조각이 비어있을 때는 더 큰 메모리 조각으로 서로 병합해서 미리 대비하는 게 나은 방식이다. 이는 앞 header 정보처럼 뒤에도 footer 정보를 추가해서 좀 더 빠르게 찾을 수 있다.

 

 

3.5 메모리를 할당할 때 저수준 계층에서 일어나는 일

 

         커널                                                                                 kernel mode

시동 준비 프로그램                                                                     | 

   응용프로그램                                                                          user mode

 

- kernel mode

: CPU가 운영 체제의 코드를 실행할 때 커널 상태에 놓인다.

: 커널 상태에서는 CPU가 모든 기계 명령어를 실행할 수 있고 모든 주소 공간에 접근할 수 있다. 제한 없이 하드웨어에도 접근할 수 있다.

 

- user mode

: 프로그래머가 작성한 일반적인 코드를 CPU가 실행할 때는 사용자 상태에 해당한다.

: 특정 주소 공간에 절대 접근할 수 없으며 그 주소 공간에 접근을 시도하면 segmentation fault 오류가 발생한다.

 

- system call

: 프로그램이 파일 읽기나 쓰기, 네트워크 데이터의 송수신 등 운영체제 서비스를 요청해야할 때는 system call 을 사용한다.(ex. malloc, brk)

 

- 표준 라이브러리(standard library)

: 운영체제에 관계없이 프로그램이 system call 을 사용하는 방법. malloc 또한 표준 라이브러리에 속한다.

응용 프로그램

표준 라이브러리

운영 체제

하드웨어

즉, 전체 시스템의 모습은 위와 같다. 응용 프로그램과 운영체제 사이에 ‘표준 라이브러리’가 있는 모습.

 

 

3.6 고성능 서버의 메모리 풀은 어떻게 구현될까?

- malloc 과 같은 system call 과 비슷한 기능을 하는 것이 메모리 풀이다.

응용 프로그램(메모리 풀)

표준 라이브러리(malloc)

운영 체제

하드웨어

 

<메모리 풀의 원리>

- 한번에 큰 메모리 조각을 요청하고 그 위에서 자체적으로 메모리 할당과 해제를 관리하는 방식.

- 즉, 표준 라이브러리와 운영체제를 거치지 않고 메모리를 할당할 수 있다.

- 메모리 해제는 요청 처리가 완료되면 한번에 메모리 풀 전체를 해제하므로 메모리 해제의 부담이 적다.

- 메모리 할당 시 여유 메모리 조각의 시작 위치를 Free_ptr 포인터가 가리키고 있어서 빠르게 찾을 수 있다.

- 다중 스레드 환경에서는 각 스레드 별 전용 저장소를 만들어서 자신의 스레드 풀만 사용한다.

 

 

3.7 메모리 관련 버그

1) 지역변수를 포인터로 반환하기

int* func()  {      int a = 2;      return &a; } void main() {      int* p = func();      *p = 20; }

: 지역변수는 함수 종료 시, 함수의 해당 스택 프레임도 해제된다. 

 

2) 포인터 연산의 잘못된 이해

int sum(int* arr, int len)  {      int sum = 0;      for(int = 0; i < len; i++)      {          sum += *arr;          arr += sizeof(int);      }      return sum; }

: 포인터 연산에서 1을 더하는 것 == 데이터 형식의 크기만큼 이동하는 것.

즉, 포인터가 가리키는 데이터 형식의 크기는 신경쓰지 않아도 된다. 알아서 된다.

arr += sizeof(int); → arr++; 로 간단히 작성하자.

 

3) 문제 있는 포인터 역참조하기

int a; scanf(“%d”, a);

: 지역변수는 값이 고정되어 있지 않아서 상황에 따라 다른 결과가 나온다. 즉, 일정한 답이 나오지 않는다.

 

     ① a 값이 코드 영역이나 기타 읽기 전용 영역을 가리키는 포인터 값일 때 → 강제 종료

     ② a 값이 스택 영역을 가리키는 포인터 값일 때 

         → 다른 함수의 스택 프레임이 파괴되었기 때문에 어떤 일이 발생할 지 예측할 수 없음.

     ③ a 값이 힙 영역 또는 데이터 영역을 가리키는 포인터일 때 

         → 프로그램이 동적으로 할당한 메모리가 파괴되었기 때문에 어떤 일이 발생할 지

             예측할 수 없음.

 

4) 초기화되지 않은 메모리 읽기

void add() {      int* a = (int*)malloc(sizeof(int));      *a += 10; }

: 힙 영역에 동적으로 할당된 메모리는 항상 0으로 초기화되지 않는다. 수동 초기화 필요.

 

5) 이미 해제된 메모리 참조

void add() {      int* a = (int*)malloc(sizeof(int));      …      free(a);      int b = *a; }

: 해제된 메모리 조각을 참조하면 프로그램의 행동을 예측할 수 없다.

 

6) 배열 첨자는 0부터 시작한다.

void init() {      int* arr = (int*)malloc(sizeof(int));      for(int i = 0; i<=n; i++)      {           arr[i] = i;      } }

: 배열 인덱스는 0부터 시작하므로 접근할 때 주의하라.

 

7) 스택 넘침

void buffer_overflow() {      char buf[32];      gets(but);      return; }

: gets 로 입력을 받을 때 32 크기가 넘으면 stack buffer overflow가 발생한다.

 

8) 메모리 누수

void memory_leak() {      int *p = (int *)malloc(sizeof(int));      return; }

: 메모리 요청 후 프로세스 종료전까지 다시 해제할 방법이 없어서 memory leak 이 일어 난다.