{ "componentChunkName": "component---src-templates-blog-post-tsx", "path": "/build-ubuntu-image-for-proxmox-with-packer/", "result": {"data":{"site":{"siteMetadata":{"title":"vulcan Blog"}},"markdownRemark":{"id":"1fedb6aa-64a5-5805-bae0-aad311932b1d","tableOfContents":"","excerpt":"시작 proxmox를 벌써 3년 정도 사용하면서 많은 vm을 생성하고 삭제했다. 하지만 매번 vm을 생성할 때마다 같은 설정들을 반복했다는 걸 느꼈다. ssh key를 넣어주고, apt 저장소를 kakao mirror로 바꾸고, 필요할 경우 고정 ip…","html":"

시작

\n

proxmox를 벌써 3년 정도 사용하면서 많은 vm을 생성하고 삭제했다. 하지만 매번 vm을 생성할 때마다 같은 설정들을 반복했다는 걸 느꼈다. ssh key를 넣어주고, apt 저장소를 kakao mirror로 바꾸고, 필요할 경우 고정 ip를 할당하는 등의 것들이다. 하지만, 이 세팅들을 매번 하는 것도 질렸고, 무엇보다 이번에 k8s 클러스터를 구축하면서 동일한 설정과 동일한 패키지를 가지는 여러 vm을 생성해야 했다. 1n 개 이상의 vm을 이런 식으로, 수동으로 설정하는 것은 바보 같은 짓이라는 생각이 들었다.

\n

물론 proxmox에도 Template라는 기능이 존재한다. Packer도 결과적으로 Template를 만드는 것이지만, proxmox만으로 이것을 하려면 직접 VM을 설치하고 세팅하여 이후에 이것을 Template으로 전환해야 하고, 만약 실수한다면 이 고정을 다시 해야 한다. 그 때문에 IaC도구의 힘을 빌리기로 했다. HashiCorp의 Packer와 Terraform, 그리고 Ansible을 사용하여 이 과정을 자동화하고자 한다. 이 글을 그 과정 중 첫 번째인 Packer에 대해서 간단하게 설명하고, proxmox에서 Packer로 기본적인 설정이 완료된 ubuntu 24.04, 22.04이미지를 만들어보고자 한다.

\n

1. Packer란?

\n

Packer는 이미지 빌드를 자동화해 주는 오픈소스 소프트웨어이다. 서버나 가상머신, 클라우드 인스턴스와 같은 환경에서 일관되고, 반복적인 배포를 할 때 유용하다. Template를 이용해서 항상 같은 이미지를 빌드하기 때문에 개발, 테스트, 프로덕션 환경을 일관적으로 유지할 수 있다. 또한 반복적인 작업을 줄일 수 있다. 만약 각 vm에 k8s 관련 패키지를 Ansible로 설치한다고 생각하면, 각 VM에 SSH로 접속해서 설치 스크립트를 실행할 것이고, 더 높은 네트워크 사용과 미리 설치해 둔 패키지를 설치하는 것보다는 당연히 클러스터의 배포가 느려질 것이다.

\n

이처럼 Packer는 DevOps 파이프라인의 가장 앞에서 가장 필수적이고 공통적인 패키지를 포함한 이미지를 미리 만들어둠으로써 배포 시간을 줄이고, 일관성을 유지할 수 있게 해준다. 이는 홈서버를 운영하는 입장에서도 매우 편리하다. 앞서 말한 ssh key, kakao mirror etc…들을 매번 세팅하는 건 매우 귀찮은 일이다. 특히 지인들과 서버를 공유하고 있다면 더욱 귀찮은 일이다. 이제 이 귀찮음을 해결해 보자.

\n

2. install Packer

\n

기본적으로 Packer의 설정에 관한 문서는 여기에 아주 잘 정리돼 있다. ubuntu server noble에 설치할 거기 때문에 이 튜토리얼을 따라 하자.

\n
wget -O - https://apt.releases.hashicorp.com/gpg | sudo gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpg\necho "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/hashicorp.list\nsudo apt update && sudo apt install packer
\n

설치가 완료되고 packer --version을 입력했을 때

\n
~$ packer --version\nPacker v1.12.0
\n

이런 식으로 나온다면 설치가 완료된 것이다.

\n

3. directory configuration

\n

Packer를 이용해서 proxmox를 빌드하기 위해서는 packer Template에 사용될 폴더와 proxmox에 접속하기 위한 credentials를 저장할 파일이 필요하다. 그리고 이미지를 생성할 템플릿, ssh user의 credentials 파일, 설치 시 전달한 user data가 필요하다. 때문에 아래와 같이 폴더를 구성해서 jammy와 noble을 위한 Template를 작성할 것이다.

\n
packer/\n├── credentials.pkr.hcl\n├── ubuntu-server-jammy\n│   ├── files\n│   │   └── 99-pve.cfg\n│   ├── http\n│   │   ├── meta-data\n│   │   └── user-data\n│   ├── run-packer.sh\n│   ├── ssh-user-credentials.pkr.hcl\n│   └── ubuntu-server-jammy.pkr.hcl\n└── ubuntu-server-noble\n    ├── files\n    │   └── 99-pve.cfg\n    ├── http\n    │   ├── meta-data\n    │   └── user-data\n    ├── run-packer.sh\n    ├── ssh-user-credentials.pkr.hcl\n    └── ubuntu-server-noble.pkr.hcl
\n

run-packer.sh는 validate와 build를 편하게 하기 위해서 작성했다.

\n

4. file configuration

\n

ubuntu server noble(24.04.x)를 기준으로 진행하겠다.

\n

4.1. credentials.pkr.hcl

\n

Packer가 proxmox에서 VM을 생성하고, 설정값을 입력하고, 이것을 template로 바꾸기 위해서는 어떤 방법으로든 proxmox의 쉘에 접속할 수밖에 없다. 이를 위해서 proxmox의 api_url, username과 password 혹은 token이 필요하다.(passward나 token 중 하나만 있어도 된다.) 이는 모든 template 파일에 포함돼야 하는데, 편의를 위해서 root 권한을 그대로 사용한다. 그 때문에 credentials 파일에서 username, password, token, api_url을 변수로 저장하고, 일관적으로 관리하려고 한다.(Packer를 위한 proxmox의 권한에 관련된 문서는 찾지 못했지만, 권한과 관련된 보안 이슈를 해결할 만한 솔루션을 발견했다. 해당 이슈에 따라 pool, group, user를 생성하고 적절히 권한을 주고 Packer가 proxmox Template를 완전히 생성한 뒤 root 권한으로 원하는 pool로 생성된 Template를 이동시키면 될 듯하다.) 아래와같이 credentials 파일을 작성해 준다.

\n
# proxmox API credentials\nproxmox_api_url             = "https://YOUR_PROXMOX_IP:8006/api2/json"\nproxmox_api_token_id        = "YOUR_USERNAME@REALM_NAME!tokenid"\n#token을 사용할거면 !tokenid를 뒤에 붙여줘야함 e.g. root@pam!packer\nproxmox_api_password        = "YOUR_PASSWORD"   #token을 사용할거면 비워도도 됨\nproxmox_api_token_secret    = "TOKEN_SECRET"    #password를 사용할거면 비워도도 됨
\n

되도록 token을 사용하도록 하자.

\n

4.2. ssh-user-credentials.pkr.hcl

\n

Packer가 VM을 생성하고, 이후에 VM에 접속해서 provisioner로 필요한 패키지를 설치하기 위해서는 해당 VM에 ssh로 접속해야 한다. 이를 위해서 user-data에 입력한 user와 동일한 데이터가 필요하다. 이 값도 예제 아래에 작성한 이유로 Template에서 유일하게 자주 변경해야 할 수도 있기 때문에 변수로 분리했다. 아래와같이 ssh-user-credentials 파일을 작성해 준다.

\n
# ssh credentials\nssh_username                = "YOUR_USERNAME"   #e.g. packer\nssh_password                = "YOUR_PASSWORD"   #ssh key를 사용한다면 비워도도 됨\nssh_private_key_file_path   = "YOUR_PRIVATE_SSH_KEY_PATH"   #Packer가 설치돼있는 host의 path임 e.g. ~/.ssh/packer
\n

이때 빌드를 위한 packer user와 ssh key를 입력해 두고, 나중에 Terraform 등을 이용해서 지워도 된다. 하지만 많은 VM을 생성하지 않을 때는 수동으로 clone 하므로, 이 user가 거슬릴 수 있다. 예제에서는 packer라는 user로 진행했지만, 이를 자주 사용하는 user와 ssh key로 변경해도 된다.

\n

문서대로라면 ssh_password를 이용해서도 접속할 수 있어야 하지만 나의 경우 오직 ssh key로만 접속할 수 있었다.

\n

4.3. user-data

\n

이 user-data에 관해서 설명하려면 먼저 cloud-init에 대해서 알아야 한다. cloud-init은 VM 혹은 클라우드 인스턴스의 초부팅 시 사용자 지정 스크립트/환경 설정을 자동 적용해 주는 툴이다. proxmox에도 cloud-init을 설정해서 부팅 시 적용할 수 있는 옵션이 있다. 하지만 Packer는 이 방식을 사용하지 않고, 직접 임시로 HTTP 서버를 구동한다. 그리고 아래에서 작성할 template 코드에서 부팅시 옵션을 입력하는데, 이것이 Packer가 임시로 구동한 HTTP 서버에 접속해 user-data와 meta-data를 가져온다. 여기서는 http 폴더 아래에 있는 두 파일이 된다. 이 과정을 거치면서 VM은 설치 시에 user-data에 기술된 user를 생성하게 되고, 이후에 부팅했을 때 ssh로 접속하는 것이다. 위에서 작성한 ssh-user-credentials로 ssh 접속을 시도하기 때문에 대응하는 값으로 user-data파일을 작성해 준다.

\n
#cloud-config\nautoinstall:\n  version: 1\n  locale: en_US\n  keyboard:\n    layout: us\n  ssh:\n    install-server: true\n    allow-pw: true\n    disable_root: true\n    ssh_quiet_keygen: true\n    allow_public_ssh_keys: true\n  packages:\n    - qemu-guest-agent\n    - sudo\n  storage:\n    layout:\n      name: direct\n    swap:\n      size: 0\n  user-data:\n    package_upgrade: false\n    timezone: Asia/Seoul\n    users:\n      - name: YOUR_USERNAME\n        groups: [adm, sudo]\n        lock-passwd: false\n        sudo: ALL=(ALL) NOPASSWD:ALL\n        shell: /bin/bash\n        #passwd: YOUR_PASSWORD\n        # - or -\n        ssh_authorized_keys:\n          - YOUR_SSH_PUBLIC_KEY
\n

위에서 작성한 ssh-user-credentials의 YOUR_USERNAME과 같은 username을 적어주고, YOUR_PRIVATE_SSH_KEY_PATH에 대응하는 public key를 적어주면 된다. 부팅하면서 최신 패키지를 적용하고 싶다면 package_upgrade를 true로 바꿔주면 된다.

\n

4.4. ubuntu-server-noble.pkr.hcl

\n

가장 핵심이 되는 template 파일이다. proxmox에서 VM을 실행하고 빌드하고 템플릿으로 바꿔주는 파일이다. 파일에서 사용한 값에 대한 상세나, 추가 값들은 여기에서 확인하면된다. 이 파일은 상당히 길기 때문에 나눠서 진행하겠다.

\n

4.4.1. Variable 정의

\n

앞서 작성한 credentials, ssh-user-credentials 두 파일에서 작성한 variable들에 대한 정의를 해줘야 한다. 각 type은 여기에 적혀있는 type에 따라서 작성하면 된다. password는 사용하지 않는다면 이 부분과 아래에서 이 변수를 사용하는 부분 모두를 지워줘도 된다.

\n
# Variable Definitions\nvariable \"proxmox_api_url\" {\n    type = string\n}\nvariable \"proxmox_api_token_id\" {\n    type = string\n}\nvariable \"proxmox_api_password\" {\n    type = string\n    sensitive = true\n}\nvariable \"proxmox_api_token_secret\" {\n    type = string\n    sensitive = true\n}\nvariable \"ssh_username\" {\n    type = string\n}\nvariable \"ssh_password\" {\n    type = string\n    sensitive = true\n}\nvariable \"ssh_private_key_file_path\" {\n    type = string\n}
\n

4.4.2. Resource 정의

\n

여기서 사용되는 값들에 대한 상세는 다시 말하지만 여기를 참고하자.

\n\n
# Resource Definiation for the VM Template\nsource "proxmox-iso" "ubuntu-server-noble" {\n\n    # Proxmox Connection Settings\n    proxmox_url = "${var.proxmox_api_url}"\n    username    = "${var.proxmox_api_token_id}"\n    password    = "${var.proxmox_api_password}"\n    token       = "${var.proxmox_api_token_secret}"\n    insecure_skip_tls_verify = true # (Optional) Skip TLS Verification\n\n    # ssh Settings\n    ssh_username                = "${var.ssh_username}"\n    # (Option 1) Add your Password here\n    #ssh_password                = "${var.ssh_password}"\n    # - or -\n    # (Option 2) Add your Private SSH KEY file here\n    ssh_private_key_file        = "${var.ssh_private_key_file_path}"\n    ssh_clear_authorized_keys   = true\n    ssh_timeout                 = "30m"\n    ssh_handshake_attempts      = 50\n    ssh_pty                     = true\n\n    # VM General Settings\n    template_description = "Ubuntu Server Noble Image"\n    node        = "pve"\n    vm_id       = "9000"\n    vm_name     = "ubuntu-server-noble"\n    #pool        = ""\n    tags        = "ubuntu_noble"\n    os          = "l26"\n    machine     = "q35"\n    qemu_agent  = true\n    cores       = "2"\n    memory      = "4096"\n    #bios        = "ovmf"\n    #efi_config {\n    #    efi_storage_pool    = "YOUR_STORAGE_POOL" #e.g. local-lvm\n    #    efi_type            = "4m"\n    #    pre_enrolled_keys   = true\n    #}\n\n    # VM OS Settings\n    boot_iso {\n      type              = "scsi"\n      iso_file          = "YOUR_ISO_STORAGE_POOL:iso/ubuntu-24.04.1-live-server-amd64.iso"  #iso file name\n      iso_storage_pool  = "YOUR_ISO_STORAGE_POOL" #local\n      unmount           = true\n    }\n\n    # VM Hard Disk Settings\n    scsi_controller     = "virtio-scsi-pci"\n    disks {\n        disk_size       = "20G"\n        format          = "raw"\n        storage_pool    = "YOUR_STORAG_POOL"  #e.g. local-lvm\n        type            = "virtio"\n    }\n\n    # VM Network Settings\n    network_adapters {\n        model       = "virtio"\n        bridge      = "vmbr1"\n        #vlan_tag    = "100"\n        firewall    = "false"\n    }\n\n    # VM Cloud-Init Settings\n    cloud_init              = true\n    cloud_init_storage_pool = "YOUR_STORAG_POOL"  #e.g. local-lvm\n\n    # PACKER Boot Commands\n    boot_command = [\n        "<esc><wait>",\n        "e<wait>",\n        "<down><down><down><end>",\n        "<bs><bs><bs><bs><wait>",\n        "autoinstall ds=nocloud-net\\\\;s=http://{{ .HTTPIP }}:{{ .HTTPPort }}/ ---<wait>",\n        "<f10><wait>"\n    ]\n    boot                    = "c"\n    boot_wait               = "10s"\n    communicator            = "ssh"\n\n    # PACKER Autoinstall Settings\n    http_directory          = "http"\n    # (Optional) Bind IP Address and Port\n    http_bind_address       = "YOUR_PACKER_HOST_IP" #packer host IP\n    http_port_min           = 8802\n    http_port_max           = 8902\n}
\n

4.4.3. Build 정의

\n

VM생성 이후 ssh로 접속해서 실행할 커맨드이다. 여기서 sources는 위의 template에서 source와 대응하게 작성해야 한다. 여기서는 이후에 proxmox의 cloud-init 저장소를 활용하기 위한 준비와, 나의 경우 apt 저장소를 kakao로 변경하는 작업을 추가했다.

\n
# Build Definition to create the VM Template\nbuild {\n\n    name    = "ubuntu-server-noble"\n    sources = ["source.proxmox-iso.ubuntu-server-noble"]\n\n    # Provisioning the VM Template for Cloud-Init Integration in Proxmox #1\n    provisioner "shell" {\n        inline = [\n            "while [ ! -f /var/lib/cloud/instance/boot-finished ]; do echo 'Waiting for cloud-init...'; sleep 1; done",\n            "sudo rm /etc/ssh/ssh_host_*",\n            "sudo truncate -s 0 /etc/machine-id",\n            "sudo apt -y autoremove --purge",\n            "sudo apt -y clean",\n            "sudo apt -y autoclean",\n            "sudo cloud-init clean",\n            "sudo rm -f /etc/cloud/cloud.cfg.d/subiquity-disable-cloudinit-networking.cfg",\n            "sudo rm -f /etc/netplan/00-installer-config.yaml",\n            "sudo sync"\n        ]\n    }\n\n    # Provisioning the VM Template for Cloud-Init Integration in Proxmox #2\n    provisioner "file" {\n        source      = "files/99-pve.cfg"\n        destination = "/tmp/99-pve.cfg"\n    }\n\n    # Provisioning the VM Template for Cloud-Init Integration in Proxmox #3\n    provisioner "shell" {\n        inline = [ "sudo cp /tmp/99-pve.cfg /etc/cloud/cloud.cfg.d/99-pve.cfg" ]\n    }\n\n    # Change apt repo to kakao mirror\n    provisioner "shell" {\n        inline = [\n            "sudo sed -i 's|http://kr.archive.ubuntu.com/ubuntu/|http://mirror.kakao.com/ubuntu/|g' /etc/apt/sources.list.d/ubuntu.sources"\n        ]\n    }\n\n    # Add additional provisioning scripts here\n    # ...\n}
\n

ubuntu server noble과 jammy 모두 지금까지의 값들은 당연한 이름 같은 것을 제외하면 모두 동일하다. 하지만 ubuntu 24.04버전으로 오면서 apt 저장소 리스트를 저장하는 위치가 약간 바뀌었다. /etc/apt/sources.list -> /etc/apt/sources.list.d/ubuntu.sources 때문에 jammy의 경우 아래와같이 apt 저장소를 바꾸는 코드만 수정해 주면 된다.

\n
    # for ubuntu server jammy\n    # Change apt repo to kakao mirror\n    provisioner "shell" {\n        inline = [\n            "sudo sed -i 's|http://kr.archive.ubuntu.com/ubuntu/|http://mirror.kakao.com/ubuntu/|g' /etc/apt/sources.list"\n        ]\n    }
\n

4.5. 나머지

\n

meta-data의 경우 필요하다면 사용하면 된다. 여기서는 아무것도 작성하지 않아도 된다.\n99-pve.cfg에는 datasource_list: [ConfigDrive, NoCloud] 한 줄만 있으면 되는데, 이것은 부팅 시에 cloud-init이 ConfigDrive를 먼저 진행할지, NoCloud로 먼저 진행할지를 정의하는 부분이다. proxmox의 경우 NoCloud방식을 사용한다. ConfigDrive를 먼저 확인하고 없다면 proxmox의 설정을 따르게 된다.

\n

4.6. run-packer.sh

\n
#!/bin/bash\n\nACTION=$1\nTEMPLATE_FILE=$2\n\nif [ -z "$TEMPLATE_FILE" ]; then\n    echo "Usage: $0 {validate|build|-v|-b} <template-file>"\n    exit 1\nfi\n\nif [ "$ACTION" == "validate" ] || [ "$ACTION" == "-v" ]; then\n    packer validate -var-file ../credentials.pkr.hcl -var-file ./ssh-user-credentials.pkr.hcl "$TEMPLATE_FILE"\nelif [ "$ACTION" == "build" ] || [ "$ACTION" == "-b" ]; then\n    packer build -var-file ../credentials.pkr.hcl -var-file ./ssh-user-credentials.pkr.hcl "$TEMPLATE_FILE"\nelse\n    echo "Usage: $0 {validate|build|-v|-b} <template-file>"\n    exit 1\nfi
\n

빌드의 편의를 위해 작성한 파일이다. 앞서 작성된 Packer 파일들을 빌드하기 위해서는

\n
packer build -var-file ../credentials.pkr.hcl -var-file ./ssh-user-credentials.pkr.hcl ubuntu-server-noble.pkr.hcl
\n

를 입력해야 한다고 했다. 이 스크립트는 반복되는 variable 파일을 이미 넣어둬서

\n
./run-packer.sh -b ubuntu-server-noble.pkr.hcl
\n

로 진행할 수 있다. validate의 경우

\n
./run-packer.sh -v ubuntu-server-noble.pkr.hcl
\n

5. validate and build

\n

위의 run-packer 스크립트를 이용해서 빌드해도 되지만, 일단은 정석적인 방법으로 빌드하려고 한다. 일단 Packer의 proxmox plugin을 설치해 준다.

\n
~$ packer plugins install github.com/hashicorp/proxmox\nInstalled plugin github.com/hashicorp/proxmox v1.2.2 in "/home/user/.config/packer/plugins/github.com/hashicorp/proxmox/packer-plugin-proxmox_v1.2.2_x5.0_linux_amd64"
\n

위와 같이 뜬다면 성공적으로 설치된 것이다.

\n

packer build를 하기 이전에 validate 과정을 거쳐서 template 코드가 정상적으로 작성됐는지 확인해야 한다.

\n
~$ packer validate -var-file ../credentials.pkr.hcl -var-file ./ssh-user-credentials.pkr.hcl ubuntu-server-noble.pkr.hcl\nThe configuration is valid.
\n

위와 같이 뜬다면 성공적으로 validate 된 것이다.

\n

validate가 성공했다면 비슷한 명령으로 build를 해준다.

\n
~$ packer build -var-file ../credentials.pkr.hcl -var-file ./ssh-user-credentials.pkr.hcl ubuntu-server-noble.pkr.hcl
\n

빌드를 하면 proxmox웹에서 지정한 vmid로 VM이 생성되고 부팅되는 걸 확인할 수 있다. 이때 아래와 같은 화면에서 절대 다른 조작을 해서는 안 된다. 이 화면에서 Packer가 proxmox에 키보드 입력을 통해 Packer가 띄운 http서버에서 cloud-init 정보를 가져오기 위한 커맨드를 입력하는데, 오조작으로 바로 설치 환경으로 들어가게 되면 Packer가 이후 프로세스를 진행할 수 없게 된다.\n\n \n \n \n \n \n성공적으로 빌드가 완료되면 아래와 같이 proxmox Template가 생성된 것을 확인할 수 있다.\n\n \n \n \n \n

\n

6. clone

\n

이제 proxmox에 생성된 이미지를 clone 해보자. clone 하기에 앞서 proxmox에서 cloud-init 설정을 해줘야 한다.\n\n \n \n \n \n \n위와 같이 User, Password, SSH public key를 넣어주고, IP Config는 기본으로 dhcp로 설정해 주면 된다. 이후에 다룰 Terraform으로 VM 여러 개 배포하기에서 고정 IP로 생성하는 방법에 대해서 자세히 다루겠다. 값을 다 넣었다면 VM을 우클릭하거나 우측 상단의 more에서 clone을 찾아서 clone을 진행한다.\n\n \n