네트워크같은 환경에서 어마어마한 데이터가 쓰여질 경우 일반 read함수로는 전부 읽어올 수 없는 상황이 발생할 수 있습니다. 또 반대의 경우에도 마찬가지입니다. 큰 데이터가 한번에 쓰여질 경우 write함수로는 쓰여지지 않을 수 있습니다. 아래와 같은 두가지의 상황이 발생하기 때문인데요.
1) read 연산이 요청보다 작은 바이트를 되돌려줄 경우에는 이는 오류가 아닙니다. 단지, 더 읽어야할 데이터가 있다는 뜻입니다. 2)write 역시 요청보다 작은 바이트를 돌려줄 수 있는 경우가 있는데, 커널의 출력 버퍼가 꽉 찼을때 이런 경우가 발생합니다.
1), 2)는 어떻게 해결할 수 있을까요? 답은 데이터가 요청된 값이 될때까지 읽거나 쓰는 것입니다. 이런 함수가 아래의 readn, writen 함수입니다.
- 아래의 코드는 Advanced Programming in the UNIX Environment 3판을 참고하여 만든 코드입니다.
readn 함수를 보면 while문을 통해서 계속 다 읽을때까지 read를 호출하는 것을 볼 수 있습니다. read가 0을 반환하면 다 읽었다고 판단하여 while 루프를 종료하고 빠져나오면 됩니다.
writen 함수
ssize_t writen(int fd, const void *data, size_t n){
size_t left; //쓰기까지 남은 바이트
ssize_t written_n; //쓴 바이트
left = n;
while(left > 0){
if((written_n = write(fd, data, left)) <0){
if(left == n) return -1;
else break;
}else if(written_n == 0) break;
left -= written_n; //얼마나 남았는지 갱신
data += written_n; //남은 바이트 쓰기 위해 포인터 이동
}
return n-left;
}
writen 함수 역시 계속 data를 쓸때까지 while 루프로 계속 write를 호출하는 것을 볼 수 있습니다. write가 0을 반환하게 되면 다 썼다는 의미로 반복문을 빠져나오고 writen 함수가 종료됩니다.
readn, writen 함수는 read, write함수와 동일하게 사용이 가능합니다. 이 함수들은 socket과 같은 네트워크, 파이프, FIFO 등에서 대량의 바이트를 읽거나 쓰기위한 함수라는 것을 기억하시기 바랍니다. 일반 파일 IO에서는 read, write만 사용해도 무관합니다.
네트워크의 connection, routing table, interface 통계 등 네트워크 전반의 정보들을 나타내어주는 명령어입니다. netstat 명령어를 사용함으로써 시스템의 port들이 어떤 상태인지를 확인할 수 있게 됩니다. 예를 들어 현재 서버에서 socket이 열려서 client의 연결을 대기 중인 상태라면 listen 상태가 됩니다.
netstat을 어떻게 사용하는 지 알아봅시다.
기본적으로 netstat만을 사용하면 열린 모든 socket들에 대해서 보여줍니다. 그런데 기본적으로 LISTENING 상태는 보여주지 않습니다. LISTENING 상태의 socket을 함께 보고싶으시면 아래의 설명할 -a, 혹은 -l 옵션을 지정해주어야합니다.
※ 여기서 Active Internet connections, Active UNIX domain sockets라고 하여서 약간 다르게 나타나는게 보이시죠? Internet connections는 여러분이 알고 있는 네트워크 상의 connection을 의미하지만, UNIX Domain Sockets(UDS라고도 합니다.)은 시스템 내부에서 사용하는 socket으로 인터넷을 사용하지 않고 통신하기 위한 IPC 기법입니다. socket 파일을 통해서 통신합니다. ls -l 명령을 입력했을때 앞에 s가 바로 그 socket 파일입니다. 복잡한 네트워크를 사용하지 않기 때문에 아래에서 보겠지만 State가 Internet connections보다는 간단합니다. 함수는 인터넷 socket과 동일하게 사용합니다.
netstat를 그냥 사용하면 정신없을 수도 있으니까 아래의 option들을 적절히 이용해서 사용하도록 합시다.
옵션
설명
-l
Listening 중인 socket을 표시합니다.
-p
socket을 사용하는 pid와 program 이름을 보여줍니다.
-n
주소등을 number로 표시합니다(ex localhost를 127.0.0.1 로 표현)
-i
interface의 정보를 보여줍니다.
-t
tcp 사용 socket을 보여줍니다.
-u
udp 사용 socket을 보여줍니다.
-r
routing table을 보여줍니다.
-a
listening과 non-listening 상태 모두를 보여줍니다.
-c
매 초마다 명령을 계속적으로 실행합니다.
netstat -nltp : listen 중인 tcp를 사용하는 socket을 표시하는데, 그 socket을 사용하는 프로그램도 같이 표시. 주소를 숫자로 표현
netstat -nltp | grep port 번호 : 특정 port가 어떤 상태인지 알아보려면 grep을 이용해서 찾을 수 있습니다.
netstat -r : 라우팅 테이블의 정보를 확인할 수 있습니다.
State
netstat을 사용하면 State라는 socket의 상태를 볼 수 있는데, Internet connection과 UDS를 아래의 표로 정리하였습니다.
- Internet
State
설명
ESTABLISHED
socket이 연결이 성립된 상태입니다.
SYN_SENT
socket이 syn 패킷을 보냈으며 연결을 시도하려고 하는 상태입니다.
SYN_RECV
socket이 연결 요청을 받은 상태입니다.
FIN_WAIT1
socket이 닫혔고, 연결이 해제되고 있는 상태입니다.
FIN_WAIT2
연결이 닫혔으며, socket은 remote end로부터 shutdown을 기다리고 있는 상태입니다.
TIME_WAIT
close 이후 socket이 여전히 네트워크에 남아있는 패킷을 처리하기 위해 대기 중인 상태입니다. 일정시간이 지난 후 이 상태는 사라집니다.
CLOSE
socket이 사용중이지 않는 상태입니다.
CLOSE_WAIT
remote end가 연결을 해제하였고, 이 컴퓨터의 socket이 닫히기를 기다리고 있는 상태입니다.
LAST_ACK
remote end에서 shut down되었고, socket이 닫힌 상태입니다. 하지만 최종 ack 응답은 기다리는 상태입니다.
LISTEN
socket이 연결을 위해서 listening 중인 상태입니다.
CLOSING
양쪽 모두 socket이 닫혔지만, 페킷을 완전히 못받은 상태입니다, 즉, 페킷이 유실되었다는 의미입니다.
UNKNOWN
어떠한 이유에서 socket의 상태를 알수가 없는 상태입니다.
모두 알필요는 없으며, LISTEN, ESTABLISHED, WAIT과 관련된 것만 봐도 상관없을 것 같네요.
- Unix Domain Socket(UDS)
State
설명
FREE
socket이 할당되지 않았습니다.
LISTENING
connection을 대기하고 있습니다. internet의 LISTENING과 같습니다.
CONNECTING
connection을 막 하고 있는 상태입니다.
CONNECTED
연결이 된 상태입니다. internet의 ESTABLISHED 상태와 같습니다.
DISCONNECTING
socket이 연결 해제 중입니다.
(empty)
socket이 연결되지 않은 상태입니다.
UNKNOWN
절대로 발생할 수 없는 상태입니다.
하지만 netstat은 오래된 프로그램이라서 ss 명령어로 대체가 되었습니다. 나중에 시간이 있으면 ss 명령어에 대해서 포스팅하도록 하겠습니다.
이런 무시무시한 문구가 떴는데, 눈을 씻고 찾아봐도 coredump 파일을 찾을 수가 없었습니다. 분명 메시지는 coredump 파일 생성됐다고 써있는데 말이죠... 내눈이 잘못된건가, 아니면 내가 영어를 못하는건가..
그래서 제가 찾은 coredump를 찾는 몇가지 해결 방법을 알려드리도록 할게요.
1. ulimit으로 core dump size를 확인
아래와 같은 명령어로 core file size를 확인합니다.
# ulimit -a
0 이상이어야합니다. 그러니까 이 부분을 고쳐하겠죠. 0보다 크면 되긴하지만, unlimited로 바꿔보도록 합시다.
# ulimit -c unlimited
위처럼 unlimited로 바뀐것을 알 수 있습니다. 이제 프로그램을 실행시키면 coredump 파일이 생성될 수도 있습니다. 물론 저처럼 두번째 문제가 있을때는 coredump 파일이 생성되지 않을 수도 있으니, 2번까지 확인해보세요.
한가지 더, ulimit으로 설정한 core dump size는 일시적입니다. 즉, reboot은 당연하고 세션이 끊어지면 초기화된다는 것이죠. 터미널 접속시 바로 설정되도록 적용하려면 아래와 같이 /etc/security/limites.conf 파일을 설정하시면 됩니다.
# vi /etc/security/limits.conf
맨 아래에 아래와 같이 추가하여 저장하시면 반영구적으로 적용됩니다.
2. /proc/sys/kernel/core_pattern 편집하여 현재 디렉토리에 coredump 생성
원래 coredump 파일을 프로그램 실행 위치에 생성되는 것으로 알고 있는데, 저의 경우에는 그게 아니었습니다. 도대체 왜 나만 안되는거야 이러고 있을 때 google 형님께 여쭈어본 결과 /proc/sys/kernel/core_pattern에서 설정할수 있다고 하십니다. 이 파일이 coredump 파일을 어떻게 생성하는지 정의하고 있는데, 열어보면 어떤 이상한 경로로 되어있을 가능성이 있습니다. 저는 과감하게 바꿔줬습니다.
select와 비슷한 함수입니다. 여러 file descriptor에 대해서 I/O를 수행하기 위한 준비가 될 때까지 기다리는 함수입니다. 여러 file descriptor를 감시하여 event가 발생할 때까지 기다린다고 보시면 됩니다.
예를 들어서 어떠한 서버가 여러 클라이언트에 대해서 연결을 갖게 되고, 입력을 처리하여야한다면 어떻게 해야할까요? 한가지 방법으로는 클라이언트 요청이 들어오면 쓰레드를 만들어서 따로 처리해줄 수 있죠. 그런데 이때 한계가 있습니다. 클라이언트의 요청이 많아질 경우에는 쓰레드를 그만큼 생성해야하는 문제가 있죠. 만약 client가 100개가 현재 연결되어 있는 서버에서는 100개의 쓰레드를 생성할 수는 없겠죠. 이보다는 100개의 socket에 대해서 지켜보다가 하나의 socket에 읽을 데이터가 생겼다면 그 socket에서 read를 하고 처리를 하면 되는 것이죠.
이 목적을 달성할 수 있는 함수가 poll입니다. poll은 여러 file descriptor에 대해서 이벤트가 발생하기를 기다렸다가, event가 발생하면 그에 대한 정보를 제공해줍니다. select와는 비슷한데, 더 섬세하게 다룰 수 있습니다. 먼저 함수의 원형을 봅시다.
함수 설명
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
- fds : pollfd의 구조체 포인터입니다. pollfd는 아래와 같이 선언되어 있습니다.
struct pollfd {
int fd; /* file descriptor */
short events; /* requested events */
short revents; /* returned events */
};
fd : 점검할 file descriptor입니다.
events : fd에 대해서 주시할 event입니다. 이 event들은 OR(|)로 여러 가지를 줄 수 있습니다. event에 대해서는 아래 표에 설명해놓았습니다. 사용자가 설정합니다.
revents : fd에 발생한 event를 의미합니다. 이는 사용자가 설정하는게 아니라 kernel이 설정해줍니다. 이 revents를 보고 어떤 event가 발생했는지 확인할 수 있습니다.
아래의 표를 보면 revents에는 모든 event가 설정이 되어질 수 있습니다. 하지만 events에는 아래의 3개는 설정할 수 없죠.
event 이름
event에 설정 가능
kernel이 revents에 설정
설명
POLLIN
O
O
high priority 외의 자료를 바로 읽을 수 있음 (POLLRDNORM | POLLRDBAND와 동일)
POLLRDNORM
O
O
보통 자료를 바로 읽을 수 있음
POLLRDBAND
O
O
우선 순위 자료를 바로 읽을 수 있음
POLLPRI
O
O
high priority 자료를 바로 읽을 수 있음
POLLOUT
O
O
보통의 자료를 쓸 수 있음
POLLWRNORM
O
O
보통의 자료를 쓸 수 있음
POLLWRBAND
O
O
우선 순위 자료를 바로 기록 할 수 있음
POLLERR
O
오류 발생
POLLHUP
O
연결 끊어짐
POLLNVAL
O
fd가 열린 파일이 아님
- nfds: fds 배열의 크기를 의미합니다.
- timeout: poll이 대기할 시간을 설정할 수 있습니다. 여기서 단위는 ms이므로 1초만 대기하려면 timeout은 1000값이 되어야합니다. 이외에 0이거나 -1인 경우는 아래와 같습니다.
timeout == -1 : 무한정 기다립니다.
timeout == 0 : 전혀 기다리지 않습니다.
이를 이용해서 지난 select와 같은 역할을 하는 서버를 만들어보도록 합시다. 역시 네트워크에 대한 내용은 뺐습니다. 순수하게 poll이 어떻게 동작하는지만 확인할 것입니다. 그런데 한가지 알아두셔야할 것은 select와 마찬가지로 정규 파일에 대해서 사용하는 것은 적절하지 않다는 점은 알아두셔야합니다.
//multiIO_poll.c
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <stdio.h>
#include <fcntl.h>
#include <poll.h>
#define FD_SIZE 3
#define BUF_SIZE 128
int main(int argc, char *argv[]){
char buf[BUF_SIZE];
struct pollfd fdarr[FD_SIZE];
int n, i, ret, end_count = 0;
//3개의 파일의 이름을 받는다.
if(argc != 4){
printf("usage : %s file1 file2 file3\n", argv[0]);
return 0;
}
for(i = 0; i < FD_SIZE; i++){
int fd = open(argv[i+1],O_RDONLY);
if(fd >= 0){
fdarr[i].fd = fd;
//차단없이 읽는 것을 주시할 event로 넣는다.
fdarr[i].events = POLLIN;
}
}
while(1){
memset(buf, 0x00, BUF_SIZE);
// timeout == -1은 지정된 파일 서술자중
// 하나라도 준비될때까지 무한정 기다린다.
ret = poll(fdarr, FD_SIZE, -1);
if(ret == -1){
perror("poll error ");
exit(0);
}
for(i = 0; i < FD_SIZE; i++){
//파일 디스크립터가 -1이면 볼 필요 없음.
//받은 이벤트인 revents에 POLLIN이 있다면
if(fdarr[i].fd != -1 && fdarr[i].revents & POLLIN){
while((n = read(fdarr[i].fd, buf, BUF_SIZE)) > 0){
//quit가 들어오면 fdarr[i] read 종료
if(!strcmp(buf,"quit\n")){
//파일디스크립터 close
close(fdarr[i].fd);
//안쓰는 fd로 업데이트하기 위해 -1 지정
fdarr[i].fd = -1;
end_count++;
if(end_count == FD_SIZE)
exit(0);
continue;
}
printf("fd[%d] - %s",fdarr[i].fd, buf);
}
}
}
}
return 0;
}
역시 테스트하기 위해서는 클라이언트 프로그램이 필요합니다. 여기서는 select에서 설명했던 클라이언트 역할을 할 소스 코드 fwrite.c를 그대로 사용합니다.
systemd에서 끝 d는 daemon을 의미합니다. deamon은 background에서 실행이 되는 프로세스입니다. 그러한 deamon을 실행하고 관리하게 해주는 daemon이 바로 systemd입니다. systemd는 부팅하고나서 가장 먼저 실행되는 데몬입니다.
이전에는 init이라는 데몬이 있었는데 이를 대체하고 init보다 기능이 추가되어서 나온 것이 systemd입니다. 그래서 이전의 init과 같이 PID가 1이 됩니다. 부모프로세스가 없으므로 PPID 또한 1이 됩니다.
systemd는 리소스를 unit이라고 불리는 단위로 관리합니다. 어떤 type의 unit이 있을까요? 아래의 표로 정리하였습니다.
.service
.socket
.device
.mount
.automount
.swap
.target
.path
.timer
.snapshot
.slice
.scope
- 여기서는 .service만 설명합니다. 가장 많이 쓰니까요~ .service에서는 service나 application을 서버상에서 어떻게 관리할지를 명세합니다. service의 시작, 중지, 그리고 어떠한 상황에서 자동적으로 실행하는지, 어떠한 종속성을 가지고 있는지에 대한 정보를 갖고 있습니다.
만약 .service를 추가하려면 /etc/systemd/system 디렉토리에 끝 확장자로 .유닛타입 식으로 써주면 됩니다. service의 경우에는 끝 확장자가 .service가 됩니다. 그리고 시스템은 일반적으로 unit file들을 /lib/systemd/system 하위에 복사하여 유지합니다. 여기서 아주 간단한 service를 등록하고 실행하는 방법을 알아보도록 하겠습니다.
우리는 service를 생성할 것이기 때문에 /etc/systemd/system 하위에 myservice.service 파일을 생성하도록 하겠습니다.
[Unit]
Description=test service
[Service]
ExecStart=/home/ubuntu/systemd/myservice
[Install]
WantedBy=multi-user.target
2.1 Unit Section
보통 가장 처음 등작하는 Section입니다. 여기서는 유닛에 대한 meta data와 다른 유닛간의 관계를 설정하는 곳입니다.
Description : 이 Unit에 대한 설명을 뜻합니다. 짧고, 간략하지만 핵심 정보를 담고 있도록 설명하는 곳입니다.
Documentation : 이 서비스에 대한 문서가 있는 URI를 제공합니다. man 페이지나 웹 사이트가 될 수 있습니다. 이런 정보들은 systemctl status 명령어에서 노출됩니다.
After : 이 Unit보다 먼저 실행되어야할 Unit들을 나열합니다.
Before : 이 Unit보다 늦게 실행되어야할 Unit들을 나열합니다.
Requires : 이 Unit이 의존하는 모든 Unit을 나열합니다. 여기서 나열된 Unit들은 전부 성공적으로 실행이 되고 있어야합니다.
Wants : Requires와 유사합니다만, Requires보다는 그렇게 엄격하지 않습니다. 다른 Unit이 실패하더라도 지금 Unit을 실행합니다.
BindsTo : Requires와 유사합니다. 대신 연관된 유닛이 종료되면 같이 service가 종료됩니다.
2.2 Service Section
Service Section은 서비스에만 적용할 수 있는 특징을 정의합니다. Unit에는 여러 종류가 있다고 위에서 표로 정의해놓았죠? mount도 있고, swap도 있고... 그중 Service에만 적용하는 구성입니다.
Type : service가 어떤 형태로 동작이 되는지를 설정합니다. systemd에게 이 service가 어떻게 관리되고 상태를 탐지하는지 알려주는 지시자입니다. 아래 중 하나로 동작이 됩니다.
● simple : 명시하지 않을 경우 simple로 동작합니다. ExecStart는 설정이 되어 있어야합니다.
● forking : service가 자식 프로세스를 생성할때 사용합니다. 이때 자식을 생성한 프로세스는 곧 장 나갈때 사용됩니다.
● oneshot : 프로세스가 오래 실행되지 않을때 systemd가 이 service가 종료되기를 기다려야할때 이 값을 사용할 수 있습 니다. service가 종료된 후 systemd가 진행을 계속하게 됩니다.
● dbus : 지정된 Bus Name이 D-Bus에 준비될때까지 기다리고, D-Bus가 준비되면 service가 실행됩니다.
● notify : service가 startup이 끝날때 notification(signal)을 발생시킵니다. 이런 상황이 발생할때 systemd는 다음 unit으로 넘어갑니다.
● idle : 모든 작업이 실행될때까지 서비스가 실행이 되지 않습니다. 즉, 모든 작업이 실행되어서야 실행됩니다.
ExecStart : 실행할 command의 절대경로를 지정합니다.
ExecStartPre : 서비스가 실행하기 전의 command를 지정합니다. 서비스 시작전 명령어를 실행합니다.
ExecStartPost : 서비스를 시작하고 나서의 command를 지정합니다. 서비서 시작 후에 명령어를 실행하기 됩니다.
ExecStop : 서비스가 stop될때 실행되어야할 command를 정합니다.
Restart : systemd가 자동으로 재시작하려고 시도하는 상황을 정의합니다. alway, on-success, on-failure, on-abnormal, on-abort, on-watchdog를 사용할 수 있습니다.
TimeoutSec : systemd가 service가 실행할때까지 기다리는 시간을 의미합니다. service를 stop할때까지 기다리는 시간이라고도 말할 수 있겠네요.
FailureAction : service 실패시 어떤 동작할 할지를 정의합니다. none, reboot, reboot-force, reboot-immediate, poweroff, poweroff-force, poweroff-immediate, exit, exit-force 중 하나를 사용합니다.
User : service가 실행될때 어떠한 권한으로 실행이 되는지를 설정합니다. user 이름이 될 수 있고, user id로 설정할 수도 있습니다. 그러나 user 이름이 알아보기 좋겠죠?
Group : User와 마찬가지로 service가 실행될때 가지는 그룹 권한을 설정합니다.
2.3 Install Section
보통 파일의 마지막에 존재합니다. 이 Section은 optional입니다. Unit이 enable하거나 disable 될때 Unit의 행동을 정의합니다.
WantedBy : 어떻게 Unit이 활성화(enable)되는지 명세합니다.
Also : service가 enable, disable될때 집합 단위로 같이 enable, disable할 serivce들을 의미합니다.
Alias : 이 service의 별칭을 줍니다.
3. service 실행, 상태, 종료
service 실행 : service를 실행하는 명령어는 아래와 같습니다. 서비스가 새로 추가됐으니, daemon을 다시 load하는 과정도 있어야합니다.
위와 같이 PID가 42450인 프로세스가 있는 것을 확인했습니다. 부모 PID는 1입니다. 시스템 데몬이라는 것을 알 수 있죠?
service 상태 확인 : service의 상태가 어떤지 보고 싶다면 status를 옵션으로 주면 됩니다. 4번째줄에 active로 실행중인 상태를 확인할 수 있습니다.
# systemctl status myservice
● myservice.service - test service
Loaded: loaded (/etc/systemd/system/myservice.service; static; vendor preset: enabled)
Active: active (running) since Mon 2022-06-27 19:45:00 KST; 51s ago
Main PID: 42434 (myservice)
Tasks: 1 (limit: 2295)
Memory: 140.0K
CGroup: /system.slice/myservice.service
└─42434 /home/ubuntu/systemd/myservice
6월 27 19:45:00 ubuntu-VirtualBox systemd[1]: Started test service.
service 종료 : service를 종료하고 싶다면 stop을 옵션으로 주면 됩니다.
# systemctl stop myservice
# systemctl status myservice
● myservice.service - test service
Loaded: loaded (/etc/systemd/system/myservice.service; static; vendor preset: enabled)
Active: inactive (dead)
service 재시작 : stop과 start를 하면 재시작이 되죠. 한번에 할 수도 있습니다.
# systemctl restart myservice
service 부팅시 시작, 해제 : 이 서비스를 부팅시에 자동으로 실행하게 만들 수 있습니다. 단,Install Section을 정의해놔야합니다. 반대로 부팅시 시작 해제하려면 disable을 사용하면 됩니다.
tar 명령어는 Tape Archiver의 약자로 여러 파일들을 하나의 파일로 묶어주는 명령어입니다. tar 명령어에 대해서 압축 명령어로 오해하시는 분들이 많은데, tar는 단순 파일을 하나로 묶는 명령입니다. 하지만 여러 옵션을 주어서 압축까지하는 것이 가능합니다. 예를 들어서 아래의 그림은 gzip이라는 압축 방식을 사용한 과정입니다. 아래의 그림을 보시면 쉽게 이해가 가능합니다.
file 1부터 file n까지가 있다면 tar 명령어를 통해서 하나의 files.tar 파일(확장자 .tar는 tar로 묶었음을 알리는 확장자입니다.)로 묶을 수 있습니다. 이때 압축한 상태가 되지는 않지요. 만일 압축방식의 하나인 gzip압축을 거치게 된다면 files.tar.gz(확장자 .gz은 gzip으로 압축이 되었다는 것을 알려주는 확장자입니다.)이라는 하나의 압축파일이 나올 수 있습니다. 그러니 ~.tar.gz은 tar로 파일들을 일단 하나의 파일로 묶고 나서 gzip 방식으로 압축을 한 파일이라는 것을 알 수 있겠죠.
그리고 압축을 해제할때는 이 과정의 역순을 거치게 됩니다.
tar의 명령어 옵션은 너무 많아 포스팅에 전부 담을 수 없습니다. 주요한 옵션 몇가지만 보고 사용해도 문제없습니다.
option
설명
-c(create)
파일 합치기
-v(verbose)
tar의 과정을 보여주기, 굳이 사용하지 않아도 무방합니다.
-f(file)
tar 아카이브 지정, 즉 압축 파일명을 지정합니다.
-x(extract)
파일 추출
-z(gzip)
gzip 압축. 확장자 gz
-j(bzip2)
bzip2 압축. 확장자 bz2
-t(list)
파일의 리스트 확인
위의 옵션들을 이용해서 tar로 파일들을 묶고 압축, 혹은 해제하는 방법을 아래의 명령을 통해서 보실 수 있습니다.
1. 파일 묶기
$ ls -l
합계 8
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file1.txt
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file2.txt
$ tar -cvf files.tar file1.txt file2.txt <-- files.tar로 묶기
file1.txt
file2.txt
$ ls -l
합계 20
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file1.txt
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file2.txt
-rw-rw-r-- 1 ubuntu ubuntu 10240 4월 24 12:46 files.tar
2. 파일 풀기
$ ls -l
합계 12
-rw-rw-r-- 1 ubuntu ubuntu 10240 4월 24 12:46 files.tar
$ tar -xvf files.tar <-- files.tar 파일 풀기
file1.txt
file2.txt
$ ls -l
합계 20
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file1.txt
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file2.txt
-rw-rw-r-- 1 ubuntu ubuntu 10240 4월 24 12:46 files.tar
3. gzip으로 압축
$ ls -l files/
합계 8
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file1.txt
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file2.txt
$ tar -cvzf files.tar.gz files <-- gzip 압축
files/
files/file1.txt
files/file2.txt
$ ls -l
합계 8
drwxrwxr-x 2 ubuntu ubuntu 4096 4월 24 12:55 files
-rw-rw-r-- 1 ubuntu ubuntu 185 4월 24 12:56 files.tar.gz
그런데 이렇게 명령어 옵션을 섞어서 쓸때 간과하는 점이 있는데 f는 아카이브 파일의 이름을 지정해야하는 옵션입니다. 그러니 -f 뒤에는 파일명이 나와야합니다. 이런 사실을 모르면 아래와 같은 에러 메시지를 볼 수 있게 됩니다.
$ tar -cvfz files.tar.gz files
tar: files.tar.gz: stat할 수 없습니다: 그런 파일이나 디렉터리가 없습니다
files/
files/file1.txt
files/file2.txt
tar: 앞서 발생한 오류로 실패 코드를 반환하며 빠져나감
만약 무슨 소리가 뭔지 모르겠다면 f를 항상 마지막에 써주고 파일명을 입력하시면 됩니다. tar -cvzf files.tar.gz files 이렇게요.
4. gzip 압축 해제
$ ls -l
합계 4
-rw-rw-r-- 1 ubuntu ubuntu 185 4월 24 12:56 files.tar.gz
$ tar -xvzf files.tar.gz <-- gzip 압축 해제
files/
files/file1.txt
files/file2.txt
$ ls -l
합계 8
drwxrwxr-x 2 ubuntu ubuntu 4096 4월 24 12:55 files
-rw-rw-r-- 1 ubuntu ubuntu 185 4월 24 12:56 files.tar.gz
$ ls -l files
합계 8
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file1.txt
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file2.txt
5. bzip2 압축
$ ls -l files
합계 8
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file1.txt
-rw-rw-r-- 1 ubuntu ubuntu 6 4월 24 12:33 file2.txt
$ tar -cvjf files.tar.bz2 files <-- bzip2 압축
files/
files/file1.txt
files/file2.txt
$ ls -l
합계 8
drwxrwxr-x 2 ubuntu ubuntu 4096 4월 24 12:55 files
-rw-rw-r-- 1 ubuntu ubuntu 191 4월 24 13:07 files.tar.bz2
6. bzip2 압축 해제
$ ls -l
합계 4
-rw-rw-r-- 1 ubuntu ubuntu 191 4월 24 13:07 files.tar.bz2
$ tar -xvjf files.tar.bz2
files/
files/file1.txt
files/file2.txt
7. 파일의 contents(list) 확인
$ ls
files.tar.bz2
$ tar -tf files.tar.bz2 <-- files.ar.bz2 안의 파일 확인, 압축 해제한것이 아님
files/
files/file1.txt
files/file2.txt
$ ls
files.tar.bz2
여기까지만 알아도 tar을 통해서 압축하고 해제하는 데에는 아무 문제없습니다. 너무 쉽죠?
이전 UNIX의 signal함수보다 더 정교한 작업이 가능한 함수입니다. 그 정교한 작업이라는 게 어떤 것들이 있을까요?
정교한 작업1 (sigaction 코드 예제 - 자식 프로세스의 현재 상태 확인)
예를 들어서 자식이 종료하면 자식 프로세스에서 SIGCHLD 신호를 자식 프로세스에서 발생이 됩니다. 그러면 부모프로세스는 자식이 종료하였는지를 알 수 있죠. 그런데 많은 분들은 자식이 종료(EXIT)할때만 SIGCHLD를 발생시키는 것으로 알고 있습니다. 그런데요. 자식 프로세스는 자신이 정지(STOP)되었을 때, 혹은 재개(CONTINUED)되었을 때, 하물며 다른 프로세스에 의해 죽었을때 (KILL) 역시 부모 프로세스에 SIGCHLD를 보내게 됩니다. 우리가 signal 콜만 이용했을 경우 이러한 차이점을 부모 프로세스가 알아서 세세하게 제어할 수가 없습니다. 그런데 sigaction을 그런 차이들을 알아내어 컨트롤이 가능합니다. 이에 대한 예제 코드는 sigaction에 대해서 설명한 이후에 등장합니다.
정교한 작업2 (sigaction 코드 예제 - 시그널 함수 구현)
뿐만 아니라 read 시스템 콜이 발생하여 사용자로부터 입력을 기다리고 있는 도중에, 시그널이 발생했다고 가정해보세요. 이럴 경우 시그널 핸들러 수행 이후에 1)read를 다시 호출해서 사용자 입력을 받을까요?아니면 그냥 read는 넘어가고 다음 코드부터 수행할까요? 이러한 제어는 어떻게 해야하는 건가요? 이렇게 재개를 할지, 말지도 sigaction을 통해서 정할 수 있습니다. 물론 재개할지 말지 정하는 sigaction 사용 예제 코드는 밑에 있습니다.
그전에 이 함수를 알기 위해서는 어느정도 시그널에 대한 기본지식이 있어야합니다. 시그널 집합, 시그널 차단 등의 개념이 나오기 때문인데요. 아래의 포스팅을 통해서 개념을 잡고 오시면 될것 같네요.
sa_handler : 앞서 signum에 대한 동작을 나타내는 함수의 포인터입니다. 설정되지 않으면 기본동작을 의미하는 SIG_DFL입니다.
sa_sigaction : sa_flags로 SA_SIGINFO를 사용할때 설정할 수 있습니다. 이런 경우에는 sa_handler가 사용되지 않고 이 sa_sigaction이 대신 사용됩니다. sa_sigaction에서는 신호 처리부(신호를 처리하는 함수)에 두가지 정보를 더 담아서 보냅니다. siginfo_t와 프로세스 문맥의 식별자가 그것입니다.
가장 처음 int는 시그널 번호입니다.
siginfo_t는 시그널에 대한 부가적인 정보를 담은 구조체입니다. 어떤 정보를 포함하는지는 이 구조체를 참고하면 됩니다. 시그널 정보에 많은 정보들이 들어가기 때문에 필드가 많으니 리눅스 메뉴얼을 참고하시기 바래요! 짧막하게 보면 아래와 같은 정보가 들어갈 수 있습니다.
이후 void* 는 커널이 저장해둔 signal context의 정보를 담습니다.
siginfo_t {
int si_signo; /* Signal number */
int si_errno; /* An errno value */
int si_code; /* Signal code */
int si_trapno; /* Trap number that caused
hardware-generated signal
(unused on most architectures) */
pid_t si_pid; /* Sending process ID */
uid_t si_uid; /* Real user ID of sending process */
int si_status; /* Exit value or signal */
clock_t si_utime; /* User time consumed */
clock_t si_stime; /* System time consumed */
…
}
sa_mask : 차단할 신호의 집합입니다. sigprocmask를 통해서 특정 신호를 BLOCK 시킬지, 말지를 정합니다.
sa_flags : 신호 옵션들입니다. 아래와 같은 옵션들이 존재합니다.
SA_NOCLDSTOP
signum이 SIGCHLD인 경우 자식 프로세스가 정지되었을때, notification을 받지 않습니다. 자식이 SIGSTOP, SIGTSTP, SIGTTIN, SIGTTOU 신호를 받아 정지되었을때 신호를 안받는다는 겁니다.
SA_NOCLDWAIT
signum이 SIGCHLD일때, 자식 프로세스가 종료되었을때 시스템이 좀비프로세스를 만들지 않게 합니다.
SA_NODEFER
신호가 잡혀서 신호 처리 함수가 실행되는 도중에 다시 같은 신호가 발생됐을때, 시스템이 자동으로 차단하지 않습니다.
SA_ONSTACK
sigaltstack으로 대체 스택을 선언해두었다면 신호가 대안 스택의 프로세스에 전달됩니다.
SA_RESETHAND
신호 처리 함수에 진입할때 이 신호의 처리 방식을 SIG_DFL로 재설정하고 SA_SIGINFO 플래그를 지웁니다.
SA_RESTART
interrupt된 시스템 콜 호출이 자동으로 재시작됩니다. 아래 예에서 보겠습니다.
SA_RESTORER
어플리케이션에서 사용할 의도로 만들어진 flag가 아닙니다. sa_restorer와 관련된 옵션입니다.
SA_SIGINFO
신호 처리부에 추가적인 두가지 정보를 전달합니다. 이때 sa_sigaction함수 포인터를 설정해야합니다. 위의 sa_sigaction 인자에 대한 설명을 참고하세요.
sa_restorer : 이 필드는 앱 사용 목적으로 만들어진 필드가 아닙니다. sigreturn과 관련된 필드라고 하네요. 넘어가겠습니다.
sigaction 코드 예제 - 자식 프로세스의 현재 상태 확인
시그널 핸들러를 이용해서 자식 프로세스가 종료하여 SIGCHLD를 발생했을 때 wait을 호출해서 자식 프로세스의 종료 상태를 알 수 있습니다. 그런데 자식 프로세스의 종료뿐만 아니라 정지, 재개 상태로 바뀌었을 때도 이러한 SIGCHLD를 발생시킨다고 했었습니다. 그렇다면 자식 프로세스가 종료할 경우에만 딱 wait할 수 있는 방법이 있을까요?
우리가 open으로 파일을 열때 -1의 값을 돌려받는다면 오류가 발생한 것입니다. 그런데 -1만 가지고는 우리는 왜 오류가 발생했는지 알 수가 없죠. 접근 권한 부족이라던가, 그런 파일이 존재하지 않는다던가 말입니다. open과 관련된 오류는 15가지 정도나 됩니다. 이런 원인을 알 수만 있다면 문제를 해결하는데 큰 도움이 되겠죠. 그래서 이번 포스팅에서는 오류의 원인을 어떻게 쉽게 알아 낼 수 있는지 관련된 내용입니다.
errno
errno는 일종의 오류의 코드가 담긴 변수입니다. 이 변수를 활용하기 위해서는 우리는 errno.h라는 헤더파일을 include시켜줘야합니다.
#include <errno.h>
이 errno.h 파일에는 errno와 errno에 설정될 수 있는 에러 코드가 담겨있습니다. 에러 코드는 상수로 담겨있으며 그 종류가 매우 많아서 여기에서는 담지 않겠습니다. 여러분들이 에러 코드에 대한 정보를 직접 확인해보시는 것을 추천해드리며 리눅스 매뉴얼 페이지에 존재합니다. 아래의 명령을 통해서 메뉴얼 페이지를 확인해보세요.
# man 3 errno
혹은 errno 명령을 사용하시면 됩니다. 위 명령은 moreutils라는 페키지에 존재하기 때문에 없으면 설치해줍니다.
# apt install moreutils
errno -l 명령어 실행시
# errno -l
EPERM 1 명령을 허용하지 않음
ENOENT 2 그런 파일이나 디렉터리가 없습니다
ESRCH 3 그런 프로세스가 없음
EINTR 4 중단된 시스템 콜
EIO 5 입력/출력 오류
ENXIO 6 그런 장치 혹은 주소가 없음
E2BIG 7 인수 명단이 너무 김
ENOEXEC 8 Exec 형식 오류
에러를 나타내는 상수는 모두 앞에 E가 붙는 점을 확인하세요.
strerror
#include <string.h>
char *strerror(int errnum);
errno 가지고는 어떤 오류인지 사람이 직접적으로 확인하기가 어렵습니다. 코드를 직접 확인하여서 에러 메시지를 출력해야합니다. 이런 번거로움없이strerror에 인자로 errno를 전달하게 되면 알아서 오류 메시지를 반환해줍니다. 아래는 아주 간략한 예제입니다.
#include <unistd.h>
unsigned int alarm(unsigned int seconds);
seconds : 신호가 발생할 때까지의 클록 초를 의미합니다. 이 시간이 경과가 되고다면 커널이 신호를 발생시키게 됩니다. 만약에 alarm에 0을 전달하게 되면 alarm함수는 알람 발생을 취소하게 됩니다.
반환 : 여기서 주의해야할 점은 하나의 프로세스가 작동시킬 수 있는 알람 시계는 오직 하나뿐이라는 점입니다. 이전에 프로세스가 등록해 놓은 알람이 있다면 alarm함수는 이전에 등록되어있던 알람의 남은 시간(초)를 반환합니다. 만일 알람이 지정되어있지 않은 새로운 알람을 등록하는 것이라면 반환 값은 0이 됩니다. 아래의 심플한 코드와 결과를 보고 어떻게 동작이 되는지 알 수 있습니다.
#include <stdio.h>
#include <unistd.h>
#include <signal.h>
int main(){
//첫번째 알람으로 ret = 0
int ret = alarm(10);
printf("처음 등록한 알람 - 남은 시간:%d\n", ret);
//첫번째 알람 끝나기도 전에 두번째 알람 등록
ret = alarm(5);
printf("두번째 등록한 알람 - 남은 시간 :%d\n",ret);
}
처음 등록한 알람 - 남은 시간:0
두번째 등록한 알람 - 남은 시간 :10
그런데 위의 코드에서는 alarm이 울리기 전에 코드가 모두 종료가 되기때문에 알람이 실제 울리는지 안울리는지 알수가 없는 코드가 됩니다. 아래의 pause함수도 같이 사용합시다.
pause
#include <unistd.h>
int pause(void);
이 함수는 신호를 기다리는 함수입니다. 이 함수가 수행이 되면 프로세스는 신호가 발생될때까지 sleep상태에 빠지게 됩니다. 위에서 언급한 SIGCHLD 외에 다른 신호도 기다립니다.
반환 : 시그널 핸들러가 처리부를 실행하고 나서 시그널 핸들러가 반환될 경우에 이 함수가 반환됩니다. 이때 pause함수는 errno를 EINTR로 설정하고 -1을 반환합니다.
다시 말해서 signal함수에 전달되는 시그널을 처리하는 함수가 있죠? 그 함수부터 반환되고 난 이후에 pause가 끝난다는 이야기입니다. 아래의 코드를 보게되면 signal함수로 signal_handler하는 시그널 핸들러를 등록해줍니다. 이후 pause로 신호가 발생될때까지 기다리게 됩니다. 신호가 발생하게 되면 1. signal_handler의 함수가 수행하고, 2. pause()가 반환하면서 3. pause() 이후의 코드가 수행된다는 뜻입니다.
만약 SIGALRM이 pause 호출 전에 발생하게 된다면, sig_alarm이 호출이 되고 longjmp에 의해 setjmp쪽으로 이동이 되겠죠. setjmp의 반환값은 1이 되기 때문에 if(setjmp(buf) == 0)을 수행하지 않고 빠져나오게 됩니다. 그래서 my_sleep함수가 끝나게 되죠. 이렇게 pause가 무한히 신호를 기다리지 않게 되기 때문에 처음 my_sleep() 구현에 문제점을 해결할 수가 있습니다.
그럼에도 불구하고 여전히 다른 문제점들이 존재하기는 합니다. 이 함수를 호출하는 프로세스에서 signal함수를 통해서 다른 시그널 핸들러를 등록하게 되면 안좋은 결과가 생길 수 있습니다.
하지만 alarm과 pause를 어떻게 사용하는지에 대한 기본적인 개념을 알기 위한 코드이니, 문제점은 여러분들이 해결해보시기 바랍니다.
지금까지 alarm함수와 pause함수에 대해서 알아보았고 이것을 활용하는 sleep함수까지 살짝 맛보았습니다.
system함수는 유닉스 운영체제에는 모두 지원합니다. system함수는 입력받은 command의 문자열을 실제로 실행시켜주는 함수입니다.
system함수를 사용하기 위해서는 stdlib.h 헤더파일을 include 해야합니다.
#include <stdlib.h>
system함수의 원형은 아래와 같습니다.
int system(const char *command);
사용하는 방법은 매우 간단합니다. command에 실행할 명령어를 전달해주기만 하면 됩니다. 아래의 사용 예를 보시면 금방 사용하실수 있을겁니다.
사용예)
//system_test.c
#include <stdlib.h>
#include <stdio.h>
int main(){
char *command="ls -al";
int ret;
ret = system(command);
printf("system함수 종료 :%d\n",WEXITSTATUS(ret));
}
# gcc system_test.c
# ./a.out
합계 208
drwxr-xr-x 19 ubuntu ubuntu 4096 4월 11 17:22 .
drwxr-xr-x 6 root root 4096 4월 1 15:38 ..
-rw------- 1 ubuntu ubuntu 378 4월 11 17:17 .Xauthority
-rw------- 1 ubuntu ubuntu 5496 4월 11 12:42 .bash_history
-rw-r--r-- 1 ubuntu ubuntu 220 2월 22 2021 .bash_logout
...
system 함수 호출 완료 ret:0
system함수의 내부
system함수에 NULL을 전달하게 되면 적절한 명령처리기가 존재한다면 0을 돌려줍니다. 그 외에는 상황에 따라 다릅니다. system함수를 내부적으로 들여다보면 fork, exec, waitpid로 이루어진 함수입니다. 이 세개의 함수에 대해서 모르신다면 아래의 포스팅을 참고하시기 바랍니다.
2. exec함수가 실패했다면 이런 경우에는 shell을 실행할수 없다는 뜻이며, exit(127)과 동일합니다.
3. 그 외의 경우에는 waitpid에 지정된 셸의 종지 상태가 return됩니다.
아래의 코드는 system함수를 흉내낸 코드입니다.
#include <stdio.h>
#include <errno.h>
#include <unistd.h>
int system(const char *cmd){
pid_t pid;
int status;
if(cmd == NULL) return 1; //UNIX에는 명령 처리기가 존재
if((pid = fork()) < 0){
status = -1; //프로세스 생성 에러
}else if(pid == 0){ //자식 프로세스
execl("/bin/sh","sh","-c",cmd,(char*)0);
_exit(127); //위 2번읜 case
}else{ //부모 프로세스 : 자식이 끝날때까지 기다림
while(waitpid(pid, &status, 0) < 0){
if(errno != EINTR){ //위 1번의 case
status = -1;
break;
}
}
}
return status;
}
int main(){
int ret;
ret = system("ls -al");
printf("system함수 종료 :%d\n",WEXITSTATUS(ret));
}
이러한 구현사항때문에 내부적으로 fork()로 자식 프로세스를 수행하고 자식 프로세스는 exec함수를 호출하는데요. 부모 프로세스는 waitpid로 자식 프로세스를 기다리기 때문에 system다음 줄의 printf가 실행될수 있는 것이죠.
종지 상태 확인
WEXITSTATUS로 실제 exit()이나 return값을 확인할수 있습니다. 아래는 main에서 바로 return 18로 빠져 나오는 한 프로그램입니다. 혹은 exit(18)을 해도 똑같습니다.
//program.c
int main(){
//exit(18);
return 18;
}
# gcc program.c -o program
# ls program
program
program이라는 실행파일이 생겨납니다. 이제 이 실행파일을 실행시키기 위해 system함수를 사용해보겠습니다.
//system_test.c
#include <stdio.h>
#include <sys/wait.h>
#include <stdlib.h>
int main(){
int ret;
ret = system("./program");
printf("system함수 종료 :%d\n",WEXITSTATUS(ret));
}
# gcc system_test.c
# ./a.out
system함수 종료 :18
우리가 return했던 값을 확인할 수 있죠? 단순 ret값을 출력하는게 아닌 매크로를 통해서 종지상태를 확인해야한다는 점을 기억하세요.