소프트웨어는 여러 주변 환경에 따라서 영향을 받아 이슈가 생기는 경우가 많다. 그래서 도커를 쓰는거긴 하지만 LLM이 혈액이 되서 동작하는 clawdbot 같은 경우는 이들이 쓸 수 있는 context를 열어주면 열어줄 수록 경이로운 결과를 사용자에게 가지고 오니 환경을 격리된 것으로 유지할 이유가 없다.

clawdbot을 집에서 사용하는 맥미니에 설치하고 아래와 같은 에러가 종종 발생하는 것을 목격했다.

HTTP 500: Internal Server Error

간혹 동작을 하기도 하다가 한번 먹통이 되면 계속 먹통이 되고 그러다 다시 또 동작하기도 하고..

찾아보고 에러 로그를 보니 엔트로픽 임베딩 모델 호출 에러가 있는 것으로 추정했다. 그러나 아무리 config를 찾아봐도 나는 엔트로픽을 호출하라고 설정한게 없는데도 말이다. 이 이슈에서 비슷한 논의가 있었으나 결론은 없는 상황이었다.

찾아보니 “~/.clawdbot/agents/main/agent/auth-profiles.json” 경로에 클로드(코드) 키 설정이 되어 있는것을 확인 했고, 해당부분을 제거했는데도 동일하게 상황이 반복 되었다.

필자의 경우 ollama를 기반으로 동작하게 환경을 설정한 상태여서 설정만 할 수 있다면 ollama기반의 임베딩 공개 모델로 로컬로 구동하고 싶었다.

답답하던 찰라, clawdbot이 정신차린 사이에 시험삼아 에러를 주고 관련 로그를 clawdbot에 전달 했더니 아래와 같은 응답을 줬다.

엇!… 그렇지 clawdbot은 설치 환경을 나보다 더 잘 알 수 있고 탐색할 수 있겠구나! 하는 아주 당연한 생각을 했다.

임베딩이 이슈라는것은 이전 로그에서 확인 했으니 임베딩 이슈로 특정하고 관련 현황을 파악하게 지시했다.

데몬을 재시작 할 수도 있는 상황이라 내가 직접 수행하려 했다가 아침 출근 전 시간에 양치 하는데 귀찮아서 직접 하라고 지시해봤다. 물론 작업 전에 임베딩 모델 교체에 대한 재색인 이슈도 확인 했다!

미쳤다… 스스로 이슈를 fix 하고 게이트웨이 재시작 그리고 테스트, 그러니까 자기의 프로세스까지 재시작 해버린 것이다.

오늘 있었던 이 사건은 요즘들어 가장 충격적인 순간이었다. 흡사 우주 모선의 AI가 비행 상황을 진단하고 선장에게 리포팅 하며 지시에 따라 조치를 하여 스스로 재부팅하는 뭐 그런 기시감이 들었다.

이 상황을 개선하는 걸 보고 나는 클로드봇에게 이름과 다음과 같은 아바타를 선물해줬다. 아바타 생성은 나노 바나나로 클로드봇이 선택한 초안으로 그렸다. ㅎㅎ

초안

나노바나나 생성

이후 고감자 봇에게 cron 이 동작하지 않는 이슈 요청해서 해결했고

다음과 같이 백업 스킬을 구축하게 해서 매일 23시에 동작하게 구축했다. 백업 전략은 고감자 봇이 총 3가지를 제안했고, 나는 git commit을 하여 로컬에 백업을 구축하고 이들을 주기적으로 push하게 크론잡을 작성하는것으로 정리했다.

✅ backup 스킬 완성!

생성된 파일들:

~/clawd/skills/backup/
├── SKILL.md           # 사용 설명서
├── backup.sh          # 메인 백업 스크립트 (실행 가능)
└── clawdhub.json      # 스킬 메타데이터

기능:

• ~/.clawdbot/ 설정 백업 (clawdbot.json, cron-jobs, 스킬 목록)
• ~/clawd/ 워크스페이스 백업 (SOUL.md (http://soul.md/), USER.md (http://user.md/), memory/, skills/)
• Git 버전 관리 + .env 자동 제외
• 색상 로깅 + 요약 출력
사용법:

# 1회 실행
~/clawd/skills/backup/backup.sh

# 또는
clawdbot skill:backup  (만약 Clawdbot이 스킬 디스커버리 지원한다면)

자동화:

clawdbot cron add \
  --name "Daily Backup" \
  --cron "0 23 * * *" \
  --session isolated \
  --message "~/clawd/skills/backup/backup.sh 실행" \
  --deliver --channel telegram --to "51292792"

테스트해볼래? 🔄

크론잡이 오늘 처음으로 제대로 동작하는데 너무 자주 동작해서 한시간 간격으로 조정 했다. ^^

상당히 재미있고, 상상하는대로 내 개인 루틴을 자동화 할 수 있어서 굉장한 취미생활이 될거 같다.

참고로 이걸 구동하는데는 kimi-R2.5(ollama 기반)을 사용하고 있다.

/dev/nvme0n1p2  916G  480G  390G  56% /

루트에 보니 아래와 같은 파일이 있다.

-rw-r--r--   1 root root 138G 10월 28 17:13 '~bittest00006.txt'

-rw-r--r--   1 root root 138G 10월 28 17:22 '~bittest00007.txt'

-rw-r--r--   1 root root 138G 10월 28 17:31 '~bittest00008.txt'

-rw-r--r--   1 root root  19G 10월 28 17:38 '~bittest00009.txt'

찾아보니 이 파일은 “시스템 하드웨어 테스트(Burn-in Test) 또는 스토리지 I/O 성능 테스트 도구가 생성한 임시 파일” 이라는 것이다. 생성 날짜가 작년 10월 28일 … 출시일이었던 11월 초 전인 것이다. 출시전 기기 테스트를 하고 청소를 안한것이다.

그나저나 1TB 의 거의 절반을 차지하는데, 몰랐으면 참 답답한 상황이 되었을거 같다.

위 데이터를 제거하여 다음과 같이 시스템 디스크 용량이 확보 되었다. ㅎㅎ

/dev/nvme0n1p2  916G   50G  820G   6% /

cpu 사용량도 없고, disk io도 없어서 학습 하면서 모니터링 하기엔 쓸모가 없는 수준이다.

또한 nvidia-smi는 어떤가?

대쉬보드 정보에서 메모리 사용량이 빠지고 소비 전력과 온도 정도가 추가가 되어 있다. 역시 반쪽짜리다.

LLM 학습을 하면서 가장 많이 활용하는게 btop 인데, DGX Spark에 설치해보니 GPU 정보가 누락되어 나오는 상황에 결국 소스 코드를 들여 다보기 시작했다.

btop 동작 방식은 실행 시점에 시스템에 여러 라이브러리가 있는지 확인하고 각 라이브러리에서 필요한 함수 포인터를 연동하는 방식이다. (src/linux/btop_collect.cpp)

당연히 DGX Spark에서는 nvidia driver가 설치 되어 있을거라서 이 부분이 정상 동작하던가 혹은 “”Failed to load libnvidia-ml.so, NVIDIA GPUs will not be detected:..” 라는 메시지가 코드에 기반해서 출력 되어야 된다. 하지만 아무런 에러 메시지가 출력 되지 않아서 확인해보니 86_64 상에서만 GPU 체크를 하게끔 Makefile에 정의되어 있다는 것을 확인 했다.

해당 Makefile 부분과 몇몇 gcc 버전 이슈 관련 코드 부분을 수정 했다.

짜짠!

DGX Spark 용 btop 설치 방법은 아래와 같다.

# Clone
git clone https://github.com/haven-jeon/btop.git
cd btop

# sudo apt install lowdown
# Build (Automatically detects aarch64 and enables GPU support)
gmake -j$(nproc)

# Install
sudo gmake install

생각해보니 이 수정으로 NVIDIA Jetson AGX Thor 에서도 btop을 쓸 수 있을거라는 생각도 들었다.

btop과 함께 즐거운 시스템 모니터링 되길 바란다.

ps. NVIDIA DGX Spark 포럼에 올린 글

오픈소스 NLP 관련 활동은 정말 나에게는 큰 기회와 감동, 경험을 줬던 활동이었다. 아직도 그 후광을 국가대표 AI 선발전에서 받고 있으니 말이다.

왜 오픈소스 덕이냐?
KoBERT, KoGPT2는 지금은 개발이 멈춘 MXNet 이라는 프레임웍에서 학습이 되었다. 당시 MXNet은 분산 학습 퍼포먼스가 가장 좋은 프레임웍으로 알려져 있어서 멀티 노드 학습을 필수적으로 해야했던 당시에 좋은 선택이었다. 게다가 gluon-NLP 라는 oss에서 내가 활동하던 이유도 있었고…

BERT 논문이 나오자 마자 해당 학습 로직에 대해 gluon-NLP에 직접 커밋하고 당시 오픈소스 개발자들과 코드리뷰를 진행했던게 코드 레벨 시행착오를 줄일 수 있었던 큰 요인이라고 생각한다. 당시 이런 리뷰를 팀이나 사내에서 받기는 어려웠으니 말이다.

댓글에 명시했지만, KoGPT-2 학습시에는 전부터 알고 있던 MXNet 오픈소스 개발자 분(당시 AWS 재직중)들에게 커널 코드를 받아서 최적화도 진행했었고, AWS 로부터 고맙게도 GPU 인스턴스 제공도 받았었다. 물론 AWS GPU 인스턴스를 무료로 쓰기 위한 여러 의무적인 활동도 하긴 했지만, 이제서야 이런 작업들이 계보로라도 저런 큰 자리에서 인정을 받을 수 있어서 정말 다행이란 생각을 해본다.

SKT에서 좋은 시작(KoBERT, KoGPT-2)을 잘 이어서 좋은 모델로 마무리 할 수 있기를 기대해 본다.

1. 오픈소스 기반 LLM 튜닝 가내 수공업화
2. 둘째 AI 프로젝트 대응

이를 위해 700만원짜리 머신을 자비로 구매하는것은 큰 고민이 필요했다. 물론 일전에 GTX 1080 GPU 두장이 들어간 머신러닝용 개인 머신을 구매했던 경험이 있고, 이 머신 덕분에 딥러닝을 업무를 시작하기 전에 스스로 학습할 수 있었다. 또한 이를 이용해 PyKoSpacing 이라는 라이브러리를 만들어 오픈할 수 있었다. 사실 1번 이유가 살짝 이 경험에 기반하고 있긴 하다.

특히 지금 1번 이유가 더 중요하다고 생각한다. 이유는 다음과 같다.
현재의 DGX 머신의 가격이 개인이 구매하기 불가능할 정도로 비싸 모델 실험 결과를 외부로 공유하거나 공개하기가 불가능하다. 이는 곧 개인의 모델링 경험을 어필할 수단이 전무하다는 것이다. 게다가 요즘엔 기업에서 기술 논문도 그렇게 장려하는 상황도 아니긴 하고… 나는 이런 시점에서 기기 성능을 떠나 개인이 개인 모델 결과를 공유할 수 있는 하나의 수단이 DGX Spark이라는 생각이 들었다. 이 기기를 통해서 가볍게 튜닝된 여러 재미난 모델이 대중에 내 이름으로 공유될 수 있기를 희망하고 있다.
이런 비슷한 이야기는 틈틈히 다음 포스팅들을 통해서 공유해볼 생각이다.

DGX Spark 엔비디아 머신이 나온뒤 곧 여러 벤더들에서 동일한 사양이지만 여러 옵션이 있는 머신들이 슬슬 나오기 시작했고, MSI Edgexpert의 1TB 머신을 구매하게 되었다(4개월 할부ㅜㅜ).

4TB 머신 가격 대비 1TB 가격이 150만원 가량 차이가 나는데 3TB 저장 용량 차이 가격치고는 너무 비싸다.
그러나 1TB 머신으로 DGX Spark를 온전히 사용하기엔 불가능한게 사실이다. 도커와 모델 이미지 몇개만 다운 받으면 금방 1TB가 채워지기 때문이다. 따라서 해당 머신 구매전 어떻게 저장 공간을 확장할지 전략이 필요하다.

1TB 구매를 맘에 두고, 내 저장공간 확장 전략은 아래 두가지였다.

1. 머신 개봉 후 직접 SSD를 4TB로 업그레이드 하는것 (워런티 void 이슈 있음)
2. USB 3.2 Type C 의 속도를 극대화 할 수 있는 외장형 SSD 구성

일단 1번 옵션은 SSD 가격이 좀 떨어지거나 혹은 1년 warranty가 끝난 다음에 시도하는걸로 했고, 2번옵션을 시도했다.

지난 11월 중순 알리 익스프레스에서 M.2 nvme ssd 2TB를 13만원 정도에 구매(글을 쓰는 지금은 41만원이다. ㅜㅜ)했고, USB 3.2 Gen 2×2 (20Gbps) 지원하는 SSD 인클로저도 함께 구매했다. 당시 생각보다 USB 3.2 Gen 2×2 (20Gbps)를 지원하는 케이스가 국내에는 없었는데, 알리에서 3만원 정도에 구할 수 있었다(국내 제품은 5만원 짜리 단일 상품만 존재했음). 16만원 정도로 추가로 2TB를 확장했고 지금은 SSD가 더 비싸졌으니 돈 번 것이다. ㅎㅎ 또한 필요하다면 추가 구매해서 확장 구성할 수도 있을 것이고.

약 2주정도 기다려 제품을 받을 수 있었고, 바로 SSD 속도 측정을 해봤다.

$ lsusb -t
/:  Bus 001.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 480M
/:  Bus 002.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 20000M/x2
    |__ Port 001: Dev 002, If 0, Class=Mass Storage, Driver=uas, 20000M/x2
/:  Bus 003.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 480M
/:  Bus 004.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 20000M/x2
/:  Bus 005.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 480M
/:  Bus 006.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 20000M/x2
    |__ Port 001: Dev 002, If 0, Class=Mass Storage, Driver=uas, 20000M/x2
/:  Bus 007.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 480M
/:  Bus 008.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 20000M/x2
/:  Bus 009.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 480M
/:  Bus 010.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 20000M/x2
/:  Bus 011.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/2p, 480M
    |__ Port 002: Dev 002, If 0, Class=Wireless, Driver=btusb, 480M
    |__ Port 002: Dev 002, If 1, Class=Wireless, Driver=btusb, 480M
    |__ Port 002: Dev 002, If 2, Class=Wireless, Driver=btusb, 480M
/:  Bus 012.Port 001: Dev 001, Class=root_hub, Driver=xhci-hcd/1p, 20000M/x2

Bus 002, 006에 이론상 최대 2,500MB/s까지 나올 수 있게 연결된 것을 확인 할 수 있다. (002는 기존 가지고 있던 SSD)

그러면 fio로 성능을 테스트 해본다. 참고로 해당 테스트는 실제 GPU가 활발하게 쓰이는 상황에서 측정되었다.

#쓰기
$fio --name=write_test --filename=/path/to/ssd/testfile --size=4G --rw=write --bs=1M --direct=1 --ioengine=libaio --iodepth=32 --group_reporting
#읽기
$ fio --name=read_test --filename=/path/to/ssd/testfile --rw=read --bs=1M --direct=1 --ioengine=libaio --iodepth=32 --group_reporting

이론대비 절반정도의 성능인데, 현재 구동중인 GPU 기반 학습 작업 때문에 머신온도가 올라가서 인 것으로 추정된다(평상시는 최대로 나오는것 확인). 그럼에도 불구하고 초당 1G 정도 쓰기 읽기는 모델 로딩,쓰기에 큰 지장이 없는 속도이긴 하다. 단, 이 머신으로 pretraining을 할 경우는 이것보다 더 읽기 쓰기가 소요될 것으로 보이나 그렇게 해당 머신이 쓰일 가능성은 거의 0에 가깝다고 본다(해당 용도가 아니기 때문에.. ). 무엇보다 이런 퍼포먼스 정도의 환경에서 튜닝/인퍼런스를 해본 결과 불편함이 전혀 없는 상황이다. 왜냐면 큰 사이즈 모델 읽고, 쓰는 경우가 그렇게 빈번하게 발생하지 않고, 컴펙트한 데이터만으로 퀵하게 LoRA 튜닝을 주로 하기 때문이다.

이것을 구매하고 바로 반드시 해야 될 일은 docker 이미지나 컨테이너들을 이 SSD로 옮기는 작업일 것이다.

아래 스크립트는 새로운 SSD로 도커 이미지 경로를 교체하는 스크립트이다. 적절히 바꿔서 사용하면 된다.

#!/bin/bash

# 1. 기존 Docker Root Dir 확인
echo "현재 Docker Root Dir:"
docker info | grep "Docker Root Dir"

# 2. Docker 서비스 중지
echo "Stopping Docker service..."
sudo systemctl stop docker.service
sudo systemctl stop docker.socket

# 3. 기존 데이터 복사 (rsync 사용)
# {NEW_PATH} 부분을 원하는 새 경로로 변경하세요. 예: /data/docker
NEW_PATH="/mnt/fastssd"
echo "Copying Docker data to $NEW_PATH ..."
sudo rsync -aP /var/lib/docker $NEW_PATH

# 4. 새 경로 생성
echo "Creating new Docker directory..."
sudo mkdir -p $NEW_PATH

# 5. Docker 데몬 설정 변경
echo "Updating daemon.json..."
sudo bash -c "cat > /etc/docker/daemon.json <<EOF
{
  \"data-root\": \"$NEW_PATH\"
}
EOF"

# 6. Docker 서비스 재시작
echo "Restarting Docker service..."
sudo systemctl start docker

# 7. 새 경로 확인
echo "New Docker Root Dir contents:"
ls $NEW_PATH

참고로 기존에 가지고 있던 SSD 외장 하드를 사용하려 하신다면 정말 말리고 싶다. 구형 외장 하드하고 최신 외장 하드 속도 차이가 어마어마 해서 도커 사용하는데만 해도 큰 (기다림의)고통이 따를 것이기 때문이다.

지금까지 왜 DGX Spark를 구매했는지와 SSD 확장해서 속도 측정 및 도커 이미지 이동 등 초기 셋업 작업을 해봤다.

다음 포스팅에서는 튜닝 및 인퍼런스, 그러니까 unsloth RL 튜닝 실험과 vllm을 모두 사용할 수 있는 내가 직접 구성하고 사용중인 도커 이미지를 공유하고 RL 학습 경험이라든지 vllm 인퍼런스 예시를 소개할 예정이다. (참고로 vllm이 잘 동작하는 unsloth 도커 이미지는 시중엔 없는 상황이다.)

https://ridibooks.com/books/4097000321

중간 부분에서 바둑기사들이 AI를 바둑 트레이닝에 사용하면서 실력이 상향 평준화 된 사례를 이야기한다. 이는 초반 포석에 대한 AI가이드에 대한 집중 학습을 하면서 중수 이하 기사들의 초반 실력이 크게 향상 된게 주된 원인이라한다. 고수와 하수를 가르는 초반 포석 능력이 AI로 인해 크게 줄어든 것이다. 재밋는 점은 AI초반 기보를 외워서 두는 사례가 많다는거..이해는 못하지만 이기기 위해서 외워서 한다는 것이다. 결국 이기는 바둑의 룰을 집중적으로 공략하는 AI가 등장하면서 부터 바둑에서 “~~류” 하는 인생철학과 고집에 대한 주장과 담판은 바둑판에서 보기 힘들어졌다. 인기있는 바둑기사는 결국 이 둘 사이에서 잘 조율하는 감각이 있어야 될 거 같다는 생각도 들었다. 승부를 적당히 하면서 자신의 패턴으로 판을 이어가는… 이래야 보는 사람들도 승부 예측의 재미가 있을터이니까..

코딩의 세계도 다르지 않다. 한때 프로그래머들의 코드에는 시인의 마음이 깃들어 있었다(문학적 프로그래밍 등). 변수명 하나하나에 담긴 철학, 함수 구조에 스며든 미학. 그것은 단순한 명령어가 아니라, 생각하는 인간의 흔적이었다. 하지만 효율이라는 미명 아래에서, 그 모든 서정은 사라져 가고 있다.

AI를 기반으로 하는 코딩는 “효율”과 “성능”이라는 미명아래 서사가 거세되고 있는 것이다. 서사의 일부는 “효율”과 “성능”하고는 다소 거리가 있을 수 있지만,개발자의 가치관이나 심리 상태, 자세를 볼 수 있는 재미를 준게 사실이다. 또한 이런 피드백들이 모여서 프로젝트가 지속되는 동기를 부여하기도 했다.

하지만 이제는 어느누구도 서사를 코드에서 찾지 않는다. 결과와 얼마나 빠르게 작성했는지만 본다.

바둑판 위의 한 수 한 수에 담겼던 철학을, 코드 한 줄 한 줄에 스며들었던 시인의 마음을 잃어버린 채로. 효율, 승률이라는 이름으로 포장된 이 시대에서, 우리는 무엇을 얻었고 무엇을 잃고 있는 것일까?

그 답은 아마도 깊은 밤, 홀로 남겨진 모니터의 커서가 깜빡이는 순간에 찾을 수 있을 수도, 혹은 바둑기사들의 현재 상황을 보고 예상해 볼 수도 있을 것이다.

자동화의 두 얼굴: 왜곡되는 임금 사다리

AI가 직업 시장에 미치는 영향은 자동화되는 업무의 종류에 따라 극명하게 갈립니다. 아짐 아자르의 분석에 따르면, 두 가지 상반된 결과가 나타납니다.

• 고숙련 업무 자동화: 전문 지식의 진입 장벽이 낮아져 고용은 늘지만, 희소성이 사라져 평균 임금은 하락합니다.
• 저숙련 업무 자동화: 단순 반복 업무가 대체되어 고용은 줄지만, 남은 관리 인력의 가치는 높아져 임금이 상승합니다.

결국 어느 쪽이든 안정적이었던 통상적인 ‘임금 사다리’는 왜곡되고, 직업 시장은 예측 불가능한 방향으로 재편되게 됩니다.

시험대에 오른 첫 직업: 소프트웨어 개발자

이러한 변화는 저와 같은 사람이 몸담고 있는 소프트웨어 개발자 직군에서 가장 먼저, 그리고 가장 뚜렷하게 나타나고 있다는 것을 누구도 부인할 수 없을거 같습니다.

• 시장의 양극화: 단순 코딩은 AI로 대체되면서 초보 개발자의 입지는 좁아집니다. 반면, 복잡한 시스템을 설계하고 AI를 지휘하는 고숙련 개발자의 가치는 상승합니다. 소수의 ‘AI 오케스트레이터’와 다수의 ‘AI 사용자’로 시장이 나뉘는 것이죠.
• 새로운 개발자의 탄생: 역설적으로 AI는 개발의 진입 장벽을 극적으로 낮춥니다. 한 작가의 경험담처럼, 코딩을 전혀 모르던 사람도 AI 툴로 무언가를 만들며 성취감을 느끼고, 이는 곧 한계에 부딪히며 오히려 “제대로 배우고 싶다”는 지적 갈망으로 이어지는 사례가 늘어나게 될 것입니다. AI가 기술 학습의 ‘대체재’가 아닌 훌륭한 ‘관문’ 역할을 하는 것입니다.

결과적으로 개발자라는 직업은 소수의 고임금 설계자와 AI의 도움으로 유입된 다수의 제작자로 재편될 수 있습니다. 전체 고용은 늘 수 있지만, 평균 임금은 하향 평준화될 가능성이 제기됩니다. 또한 다수의 제작자들의 여러 아이디어 덕분에 시장은 확장될 가능성이 큽니다.

선택의 기로

이러한 변화는 급여 측면에서 안정적이었던 중산층을 위협하며 사회적 불안을 야기할 수 있겠죠. 결국 우리는 선택의 기로에 놓입니다. AI를 소수 자본의 부를 증식하는 도구로 쓸 것인가, 아니면 마크 저커버그의 비전처럼 개인의 역량을 강화하는 ‘개인용 초지능’으로 만들 것인가?

마크 저커버의 개인용 초지능 역시 누구나 가지고 있는 능력이라면 초지능이라고 부를 수 있을까요? 결국 산업 혁명 시절 육체적인 능력이 증기기관이라는 능력으로 평준화가 된 사례가 있었듯이, 지능이라는 인간 능력 영역이 AI로 인해 상향 평준화가 된다면 인간은 다른 능력으로 평가되고 교육될 것이라 예상됩니다. 앞으로 필요한 인간 고유의 능력이라는게 뭐가 될까요? 교육을 비롯하여, 기본 소득 등 사회 각 영역에서 반드시 고민이 선행되어야 될 부분이라 생각합니다.

끝!

에이전트 개발의 핵심은 단순히 ‘만드는 기술’을 넘어, ‘무엇을 위해 존재하는가?’라는 본질적인 질문에서 시작해야 합니다. 특히 서비스 에이전트는 ‘사용자’와 ‘서비스’에 대한 깊은 이해가 선행되지 않으면 그 가치를 제대로 발휘하기 어렵습니다. 진정으로 의미 있는 에이전트를 만들기 위해서는 다음의 과정들을 끊임없이 순환하며 발전시켜 나가야 합니다.

1단계: 본질 파악

에이전트 개발에 앞서, 우리는 서비스의 존재 이유와 목표를 명확히 해야 합니다. 이는 에이전트가 나아갈 방향을 설정하는 나침반과 같습니다.

• 서비스의 존재 이유: 이 서비스는 근본적으로 사용자에게 어떤 가치를 제공하기 위해 존재하는가?
• 핵심 성과 지표(KPI): 에이전트의 성공을 어떻게 측정할 것인가? 단순히 반복적인 작업을 돕는 것인가, 아니면 구매 전환율이나 고객 만족도 향상과 같은 구체적인 비즈니스 목표 달성인가?
• 사용자 행동 패턴: 사용자는 서비스를 어떻게 이용하며, 어떤 경로를 통해 의사결정을 내리는가?

이러한 질문에 대한 답이 불명확하다면, 실제 서비스 로그 데이터를 분석하여 사용자의 목소리에 귀를 기울이는 것이 무엇보다 중요합니다.

2단계: 데이터를 통한 ‘지식’과 ‘기억’ 구축

에이전트가 똑똑하게 행동하기 위해서는 잘 정제된 데이터, 즉 ‘지식’과 ‘기억’이 필요합니다. 이는 흩어진 원시 데이터를 가치 있는 정보로 변환하는 과정입니다.

1. 데이터 소스 연결: 서비스 내부에 흩어져 있는 다양한 데이터 소스를 하나로 통합합니다.
2. 의미 관계 구축: 연결된 데이터 간의 관계를 파악하여 의미 있는 구조로 엮습니다.
3. 데이터 명확화: 명확한 데이터는 자연어나 특정 단어로 치환하여 에이전트가 쉽게 이해할 수 있도록 합니다.
4. LLM 기반 추론 보강: 명시적으로 드러나지 않는 관계나 사용자의 숨은 의도는 LLM의 추론 능력을 활용하여 보강합니다.
5. ‘지식’으로 가공: 방대한 원시 데이터를 에이전트가 즉시 활용할 수 있는 ‘지식 체계’로 구축합니다.

이 과정에서 ‘개인화’는 필수적입니다. ‘에이전트’라는 용어 자체가 개인 비서를 의미하듯, 각 사용자에게 최적화된 경험을 제공하는 것을 목표로 해야 합니다.

3단계: 태스크(Task) 정의와 플로우(Flow) 디자인

앞선 단계를 통해 서비스와 사용자에 대한 깊은 이해를 갖추었다면, 이제 에이전트가 수행할 구체적인 ‘태스크’를 정의하고 그 실행 과정인 ‘플로우’를 디자인해야 합니다.

• 태스크 정의: 에이전트가 사용자를 위해 해결해야 할 구체적인 과업은 무엇인가?
• 플로우 디자인: 정의된 태스크를 어떤 순서와 방식으로 처리할 것인가?

4단계: 지속적인 평가와 개선의 순환 구조

에이전트 개발은 한 번에 끝나는 프로젝트가 아닙니다. AI 시스템의 성능과 효용성은 지속적인 평가와 개선을 통해 향상됩니다. 결론적으로, 에이전트를 만드는 과정은 [본질파악 → 데이터/로그 기반 지식 정의 → 태스크 고도화]의 사이클을 끊임없이 반복하는 것입니다. 이는 서비스를 만드는 과정과 본질적으로 같으며, 특히 서비스 데이터를 잘 가공하여 적시에 모델 컨텍스트에 제공하고, 그 결과를 평가하고 모니터링하는 부분이 에이전트의 성능에 가장 큰 영향을 미칠 거라 생각합니다. 이 부분이 누구나 가질 수 있는 AI API를 사용하지만 결국 결과적으로 큰 차별화를 할 수 있는 부분이라 생각합니다.

끝!

• https://cafe.naver.com/camback/18779 : 굴업도 연평산
• https://cafe.naver.com/camback/19136 : 굴업도 개머리 언덕

두 번째 글은 아래의 여행 유튜브 영상과 같이 보면 다른 사람의 관점에서 동일한 시점과 공간에서 섬을 어떻게 느꼈는지를 알 수 있을것이다.

보면 아시겠지만 두 유튜브에 내가 모두 출현한다. 그것도 이분들을 섬에서 우연히 만나고 이야기 하게 된 내용으로 말이다.

예전에는 어려운 개념서의 서로 다른 저자의 책 두 권을 구해서 겹쳐 읽기를 해서 이해도를 높였던 읽기 기술을 사용했던 적이 있다. 물론 지금은 그 역할의 한 축을 AI가 담당하고 있지만 여전히 이 방법은 유효하다고 자부한다. 비슷하게 여행이나 경험도 겹쳐 읽기가 이제는 가능한 시점이 되지 않았나 싶다. 대부분의 사람들이 글과 영상을 남기고 공유하는 누구나 크리에이터인 세상에서 경험의 겹쳐 읽기가 가능하다는 것이 참으로 격세지감이기도 하다. 이렇게 경험을 겹쳐 읽다 보면 하나의 시공간을 여러 시점으로 경험하게 되어서 경험의 깊이가 깊어지는 효과가 있다.

나름대로 경험의 깊이를 배가 시키는 여행 후의 작업들은 아래와 같다.

1. 반드시 여행을 다녀온 뒤에 작은 여행기를 쓴다.
2. 여행기를 적당한 온라인 공간에 공유한다.
3. 비슷한 시점에 같은 곳을 다녀온 여행을 찾아서 보고 읽는다.

아마도 이 유튜버 분들이 나의 카페글을 읽을지 안 읽을지 모르겠지만 이분들도 경험의 겹쳐 읽기를 하면서 경험의 깊이를 배가 시키길 바란다.

모두가 콘텐츠 생산자이자 소비자가 된 세상이 되니 경험의 깊이가 깊어지고 이해도 깊어지는 효과가 있다. 이로서 여행을 두번 세번 하는 경험까지 말이다. 하지만 그러한 경험도 직접 일부라도 경험해 보면서 느끼는 것과는 다를 것이다. 따라서 소파에서 편하게 여행하는 느낌을 충분히 콘텐츠로 누리시되 직접 경험하는 재미를 잃지 마시라 권유하고 싶고, 그렇게 한 경험을 누구에게 보여줄 수 있는 수준으로 정리하는 습관 그리고 부끄럽지만 공유하는 자세도 좀더 기억에 남는 여행을 위해 필요하다고 생각한다.

끝!

최근 PwC에서 발표한 “두려움 없는 미래: 2025 글로벌 AI 일자리 바로미터(The Fearless Future: PwC’s 2025 Global AI Jobs Barometer)” 보고서가 흥미로운 데이터를 제시하며 AI와 일자리에 대한 새로운 관점을 던져주고 있습니다. 이 보고서는 전 세계 약 10억 건의 채용 공고와 수천 개 기업의 재무 보고서를 분석한 방대한 자료를 기반으로 하고 있습니다. 이 보고서의 핵심 내용을 중심으로, AI가 우리 일자리에 미치는 영향과 우리가 무엇을 준비해야 할지 정리해 보도록 하겠습니다.

1. AI, 정말 우리 일자리를 빼앗을까? – 생산성과 기업 가치의 진실

• AI 노출 산업, 직원 1인당 수익 증가율 3배↑: AI를 적극적으로 활용하는 산업은 그렇지 않은 산업에 비해 직원 1인당 창출하는 수익 증가율이 무려 3배나 높다.

• 2022년 이후 생산성 성장 가속: AI의 힘에 대한 인식이 급증한 2022년 이후, AI 도입에 유리한 산업의 생산성 증가율은 거의 4배나 뛰었습니다. 반면 AI 노출이 적은 산업은 소폭 하락하는 모습을 보입니다.

• AI 기술 보유자, 56% 임금 프리미엄: 프롬프트 엔지니어링 같은 AI 관련 기술을 가진 근로자는 그렇지 않은 근로자보다 평균 56%나 높은 임금을 받고 있었습니다. 이는 작년의 25%에서 크게 상승한 수치로, AI 기술의 가치가 얼마나 빠르게 높아지고 있는지 보여줍니다.
• 모든 산업으로 확산되는 AI: 분석 대상 산업 100%가 AI 활용을 늘리고 있었습니다. 이는 광업이나 건설업처럼 AI와 거리가 멀어 보였던 분야까지 포함하는 결과입니다.

리포트의 분석 결과는 AI가 단순히 비용 절감이나 인력 감축의 도구가 아니라, 기업의 성장과 가치 창출에 핵심적인 역할을 하고 있음을 명확히 보여줍니다.

2. 연봉 협상 테이블의 AI – 임금과 고용, 예상 밖의 반전

AI가 일자리를 없앨 것이라는 공포와는 달리, 보고서는 오히려 AI에 노출된 직종에서 일자리 수와 임금이 함께 성장하고 있다고 말합니다. 심지어 자동화 가능성이 높다고 여겨졌던 직무들에서도 말이죠! 다크 펙토리가 적용 된다 하더라도 관련 AI를 다루고 관리할 새로운 직무들이 생겨나는 것과 무관하지 않을거 같습니다.

• AI 노출 직종, 임금 상승률 2배: AI에 많이 노출된 산업의 임금 상승률은 그렇지 않은 산업보다 2배나 빨랐습니다.
• 자동화 직군에서도 임금 상승: 고객 서비스 상담원처럼 AI로 자동화될 가능성이 높은 직업군에서도 임금이 오르고 있다는 점은 특히 주목할 만합니다. 이는 AI가 해당 직무를 없애기보다는, 반복적인 업무를 자동화하고 근로자가 더 높은 가치를 창출하는 복잡한 업무에 집중하도록 돕고 있음을 시사합니다.

이런 현상은 제가 예전에 “P&G 실험으로 확인한 AI와의 협업의 미래 – 팀의 적정 규모는?” 글에서 AI가 ‘사이버네틱 팀원’ 역할을 하며 인간 협업의 이점을 복제하고 생산성을 높이는 모습을 소개해 드렸던 것과 비슷한 맥락으로 이해할 수 있을 것 같습니다. AI가 인간을 대체하기보다는, 인간의 능력을 증강시켜 더 큰 가치를 만들도록 지원하는 파트너로 기능하고 있다는 긍정적인 신호로 보입니다.

3. AI 시대, 생존을 위한 기술 지각변동 – 얼마나 빠르게 변하고 있나?

AI는 우리가 일하는 방식뿐만 아니라, 성공하기 위해 필요한 기술에도 엄청난 변화를 가져오고 있습니다.

• AI 노출 직종, 기술 변화 속도 66% 더 빠름: 금융 분석가처럼 AI에 많이 노출된 직업에서 고용주가 요구하는 기술은 물리치료사처럼 AI 노출이 적은 직업보다 66%나 더 빠르게 변하고 있었습니다. 이는 작년의 25%에서 무려 2.5배 이상 빨라진 속도입니다.
• 학위보다는 실질적 기술: 흥미롭게도, 모든 직종에서 학위에 대한 고용주의 요구가 줄어들고 있는데, 특히 AI에 노출된 직종에서 이런 경향이 더욱 두드러졌습니다.
• 이는 AI가 전문 지식 습득을 용이하게 하고(소위 ‘전문성의 민주화’), 기술 변화 속도가 너무 빨라 전통적인 학위의 유효 기간이 짧아지기 때문일 수 있습니다.

이러한 급격한 기술 변화는 제가 예전 “AI 코딩시대 개발자에게 필요한 역량은?” 글에서 개발자뿐만 아니라 모든 직종에서 끊임없는 학습과 적응이 필수적이라고 강조했던 바와 정확히 일치합니다. AI 시대에는 특정 기술을 한 번 배우는 것으로 끝나지 않고, 지속적으로 새로운 기술을 익히고 변화에 유연하게 대처하는 능력이 그 어느 때보다 중요해질 것입니다.

4. PwC의 제언

보고서는 기업 리더들이 AI 시대를 성공적으로 헤쳐나가기 위한 핵심 전략을 제시합니다.

1. 전사적 혁신을 위해 AI를 활용하라: 단편적인 사용을 넘어, 기업 전체의 가치 창출 방식을 AI로 혁신해야 한다.
2. AI는 단순 효율화 도구가 아닌 성장 전략화 해야: 인력 감축보다는 새로운 시장과 수익 창출의 기회로 삼아야 합니다.
3. 에이전트 AI(Agentic AI)를 우선시하라: 자율적으로 작업을 수행하고 학습하는 AI 에이전트는 기하급수적인 생산성 향상을 가져올 수 있습니다.
4. 인력이 AI의 힘을 활용할 기술을 갖추도록 지원하라: 명확한 기술 격차 분석과 교육 계획이 필수

5. 흔한 오해들

PwC 보고서는 AI에 대한 막연한 불안감을 데이터로 반박하며, 몇 가지 흥미로운 ‘미신 깨기’를 시도합니다.

• 생산성, AI 때문에 떨어진다고? NO!
  • 오히려 AI를 잘 쓰는 산업은 직원 1인당 수익 증가율이 3배 더 높다.
• 임금, AI 때문에 깎인다고? NO!
  • AI 노출 산업의 임금은 그렇지 않은 산업보다 2배 더 빠르게 오르고 있다.
• 일자리, AI 때문에 사라진다고? NO!
  • AI에 노출된 직종에서도 일자리는 꾸준히 늘고 있다. (물론, 비노출 직종보다는 증가 속도가 다소 느림).
• 불평등, AI 때문에 심해진다고? 글쎄요!
  • 자동화 가능 직군과 증강 가능 직군 모두에서 임금과 고용이 증가하고 있습니다. 또한, AI 노출 직종에서 학위 요구가 낮아지는 현상은 오히려 더 많은 사람들에게 기회의 문을 열어줄 수 있다.
• 기술 저하, AI가 단순 반복 작업만 시킨다고? NO!
  • 오히려 AI는 자동화 가능한 직무를 더욱 고도화시키고, 더 복잡하고 창의적인 기술을 요구하는 방향으로 변화시키고 있을 가능성이 크다.

물론 AI가 가져올 변화가 모두에게 장밋빛이기만 한 것은 아닐 겁니다. 하지만 적어도 PwC의 데이터는 AI에 대한 과도한 비관론은 경계해야 한다고 말합니다.

6. AI 혁명, 여성에게는 어떤 의미일까? – 기회와 도전의 양면

보고서에서 눈에 띄는 또 다른 대목은 AI에 노출된 직종에 남성보다 여성이 더 많이 종사하고 있다는 점입니다. 이는 분석된 모든 국가에서 공통적으로 나타난 현상이라고 하는데요.

이는 여성에게 AI가 더 큰 기회가 될 수도 있지만, 동시에 더 큰 위험에 직면할 수도 있음을 의미합니다. AI로 인해 변화하는 기술 환경에 잘 적응하고 새로운 기술을 습득한다면 여성들은 AI 혁명의 큰 수혜자가 될 수 있습니다. 하지만 PwC의 다른 연구(2024 Workforce Radar)에 따르면 미국 여성의 AI 기술 채택 수준이 남성보다 뒤처지는 것으로 나타나, 이 부분에 대한 적극적인 지원과 관심이 필요해 보입니다.

7. 모든 산업을 휩쓰는 AI – 이미 시작된 미래

AI의 영향력은 특정 산업에 국한되지 않고 경제 전반으로 빠르게 확산되고 있습니다.

• AI 기술 필요 일자리, 시장 위축에도 성장세: 전체 채용 시장이 11.3% 감소하는 동안에도 AI 관련 기술을 요구하는 일자리는 오히려 7.5% 증가했습니다. 이는 기업들이 AI의 가치를 인지하고 투자를 우선순위에 두고 있음을 보여줍니다.
• CEO 절반, “AI 통합이 최우선 과제”: PwC의 2025 글로벌 CEO 설문조사에 따르면, CEO의 절반이 향후 3년간 AI를 비즈니스 프로세스와 워크플로우에 통합하는 것을 가장 큰 우선순위로 꼽았습니다.
• 초기 AI 선도 산업, 투자 더욱 확대: 정보통신, 전문 서비스, 금융 서비스와 같이 일찍부터 AI 인력 채용을 선도했던 산업들은 AI 투자를 더욱 공격적으로 늘리고 있습니다. 이는 AI 도입의 실질적인 효과를 경험하고 있음을 방증하는 것이겠죠.

결론: ‘두려움 없는 미래’, AI는 설계하기 나름!

PwC의 “두려움 없는 미래: 2025 글로벌 AI 일자리 바로미터” 보고서는 AI가 인간을 대체하기보다는 그 가치를 더욱 높이는 강력한 도구가 될 수 있음을 시사합니다. 자동화 가능성이 높은 직무조차도 단순히 사라지는 것이 아니라, 근로자들이 더 창의적이고 복잡하며 가치 있는 일에 집중할 수 있도록 재편되고 있다는 분석은 상당히 고무적입니다.

실제로 CEO의 70%는 AI가 기업의 가치 창출 방식을 근본적으로 변화시킬 것으로 기대하며, 82%는 AI 도입 이후 인력이 유지되거나 오히려 증가했다고 답했습니다. 근로자들 역시 AI의 긍정적인 측면을 인지하고 있고요.

결국 AI가 우리에게 가져올 미래는 정해진 것이 아니라 우리가 어떻게 설계하고 만들어가느냐에 달려있습니다. 제가 예전 “AI, 인간 데이터 너머 ‘경험’으로: The Era of Experience” 글에서 강조했듯이, AI가 스스로 경험을 통해 학습하고 발전하는 시대가 온다면, 우리는 AI가 효과적으로 경험하고 학습할 수 있는 환경을 만들고, 그 결과를 해석하며 AI와 협력하는 능력을 키우는 것이 더욱 중요해질 것입니다. 또한, “미래에는 비용 효율적인 AI 기반 지식노동을 해야 된다 – 2027년 소프트웨어 개발비 예측/분석” 에서 살펴본 것처럼, AI는 인간 노동 비용의 작은 부분으로 엄청난 생산성 향상을 가져올 수 있는 잠재력을 지니고 있습니다.

AI 시대의 진정한 도전 과제는 기술 그 자체가 아니라, 우리가 어떤 선택을 하고 어떤 제도와 시스템을 만들어가느냐일 겁니다. AI에 대한 막연한 두려움보다는, 신뢰를 기반으로 AI를 현명하게 활용하고 모두가 그 혜택을 누릴 수 있는 방안을 모색해야 합니다. PwC 보고서가 제시하는 ‘두려움 없는 미래‘는 바로 이러한 노력들을 통해 현실이 될 수 있을 것이라고 생각합니다.

끝!!