3D 뉴럴 렌더러 AI 모델 워터마크 기술

글. 김상필 고려대학교 교수

최근 인공지능(AI)의 발전으로 디지털 콘텐츠의 생산량이 폭발적으로 증가하고 있다. 이미지, 음악, 동영상, 3D 등 다양한 형태의 콘텐츠가 과거보다 훨씬 더 빠르고 저렴하게 제작될 수 있게 되면서 디지털 생태계는 급격히 변화하고 있다. 이에 따라, 전문 3D 디자이너가 아니더라도 누구나 손쉽게 3D 콘텐츠를 제작할 수 있는 시대가 열렸다. 그러나 이러한 변화는 동시에 다양한 법적, 윤리적, 그리고 사회적 문제를 야기하고 있다. 그중에서도 저작권 문제는 현재 가장 뜨거운 논쟁 주제 중 하나로 부상하고 있다. 이에 따라 본 글에서는 인공지능 기반 3D 콘텐츠 생성의 기술적 측면과, 저작권 보호를 위한 기술적 해결책을 소개한다.

1. 3D 인공지능 기술의 발전 및 문제점

3D 콘텐츠 수요 증가와 뉴럴 렌더링의 역할

증강현실(AR), 가상현실(VR), 그리고 메타버스의 발전은 3D 콘텐츠의 수요를 급격히 증가시키며 디지털 환경의 새로운 패러다임을 만들어가고 있다. 이와 같은 3D 산업의 성장세 속에서, 효율적이고 사용자 친화적인 3D 콘텐츠 생성 기술이 필수적 요소로 떠오르고 있다.

기존의 3D 콘텐츠 제작은 전문적인 지식과 복잡한 렌더링 과정이 요구되었다. 이러한 과정은 시간과 비용이 많이 소모되었고, 창작의 문턱을 높이는 주된 요인이 되었다. 그러나 인공지능을 활용한 뉴럴 렌더링(Neural Rendering) 기술이 등장하면서, 3D 콘텐츠 제작 방식이 혁신적으로 변화하기 시작했다.

대표적으로 방사 필드장(Radiance Field)을 기반으로 한 NeRF¹⁾, TensoRF²⁾, Plenoxels³⁾, PointNeRF⁴⁾ 등의 기술은 3D 콘텐츠 생성의 효율성과 품질을 크게 향상했다. 이 기술들은 다수의 2D 이미지를 학습하여 새로운 시점의 이미지를 예측하고, 이를 기반으로 3D 콘텐츠를 복원한다.

이 기술은 기존의 복잡한 렌더링 과정을 대체함으로써, 3D 콘텐츠 제작의 시간과 비용을 획기적으로 절감했다. 이에 따라, 3D 콘텐츠 제작 과정에서 시간과 비용이 대폭 줄어들었으며, 창작의 문턱이 낮아졌다. 더 나아가, 3D 콘텐츠는 전문 디자이너뿐만 아니라 일반 사용자들도 쉽게 접근할 수 있는 형태로 변화하고 있으며, 창작의 기회가 많아지고 있다. 이는 영화, 게임, 교육, 광고, 건축 등 다양한 분야에서 활용 가능성을 확대하고, 새로운 비즈니스 모델을 창출하는 데 기여하고 있다.

저작권 문제

이러한 기술적 진보는 동시에 저작권 문제라는 새로운 과제를 동반하고 있다. 인공지능 모델의 무분별한 사용은 복제와 표절 논란을 야기할 수 있으며, 특히 독창성과 창의성이 중요한 3D 콘텐츠 시장에서는 심각한 문제로 부각되고 있습니다. 더 나아가, 인공지능이 생성한 3D 콘텐츠뿐만 아니라 인공지능 모델 자체의 저작권 문제도 새롭게 제기되고 있다. AI 모델은 3D 콘텐츠를 자동으로 생성하는 능력을 갖추고 있기 때문에, 저작권 보호를 위한 특별한 관리가 요구된다. 기존에는 생성된 콘텐츠의 저작권 정보를 콘텐츠에 직접 삽입하는 방식으로 진행되었다.

이런 방식은 인공지능 모델이 도난당하거나 불법적으로 배포되었을 때 한계에 직면한다. 만약 인공지능 모델이 무단으로 사용된다면, 임의의 사용자가 제한 없이 3D 콘텐츠를 생성할 수 있게 되어 콘텐츠 시장과 창작 생태계에 심각한 피해를 초래할 수 있습니다. 따라서 인공지능 생성 콘텐츠의 저작권 보호와 AI 모델의 안전한 관리 및 추적을 위한 기술적·법적 장치가 절실히 요구된다. 

이러한 문제의 심각성을 인지한 유럽연합(EU)은 AI Act라는 법안을 통해 인공지능 시스템 제공자 및 배포자에게 인공지능 산출물임을 공개적으로 명시하는 등 표시 의무를 법제화하고 있다. 본 글에서는 이러한 국제적 법률 움직임에 맞추어 인공지능이 생성한 3D 콘텐츠 및 인공지능 모델의 저작권 보호 기술에 대해 다룰 것이며, 공정하고 혁신적인 3D 콘텐츠 시장을 구축하기 위한 새로운 방향성을 제시하고자 한다.

2. 저작권 관련 국내외 기술

디지털 워터마킹은 디지털 콘텐츠에 저작권 정보를 보이지 않게 삽입하여 원본 출처 및 정보를 추적하여 저작권을 보호하는 기술이다. 최근 국내 및 해외에서 디지털 워터마킹을 인공지능에 접목시켜 디지털 콘텐츠와 인공지능 모델을 보호하는 기술이 연구되고 있다. 이 섹션에서는 인공지능을 활용한 국내외 기술을 소개하고자 한다.

[국내]

< 인공지능 저작권 정보 보호 기술에 대한 국내 현황 >

[국외]

< 뉴럴 렌더러 종류의 비교 >

4. 뉴럴 렌더러를 위한 워터마크 기술 동향

최근 뉴럴 렌더러의 발전과 함께, 이러한 모델에 워터마크를 삽입하여 저작권을 보호하려는 연구가 활발히 이루어지고 있다. 특히, 뉴럴 렌더러의 파라미터를 미세 조정하여 생성된 이미지에 워터마크를 포함시키는 방법이 주목받고 있으며, 대표적인 사례로 StegaNeRF¹⁴⁾, CopyRNeRF¹⁵⁾가 있다.

StegaNeRF

최초로 명시적 뉴럴 렌더러의 파라미터를 미세 조정하여 모델이 보이지 않는 워터마크가 삽입된 이미지를 생성하도록 설계된 방법이다. 이 기술은 워터마크로 저작권 정보를 담은 이미지를 선택하며, 워터마크를 복원하려면 원본 이미지와 워터마크가 삽입된 이미지 간의 정보가 필요하다. StegaNeRF는 Adaptive Gradient Mask라는 기술을 제안하여 워터마크가 삽입된 이미지의 품질이 원본과 유사하도록 보장하였다. 이를 통해 NeRF 기반 콘텐츠에서 소유권 보호와 불법 사용 감지를 위한 기술적 초석을 마련했다.

CopyRNeRF

최초로 암시적 뉴럴 렌더러의 파라미터를 미세 조정하여 워터마크가 삽입된 이미지를 생성하는 방법이다. CopyRNeRF는 두 가지 방식으로 워터마크를 삽입한다. 첫 번째는 파라미터 기반 워터마크 삽입으로, 모델의 파라미터 공간에서 워터마크를 생성하여 모델 공유 시에도 보호가 유지되도록 한다. 두 번째는 렌더링 기반 워터마크 삽입으로, 모델이 생성하는 출력 이미지에 워터마크를 포함시켜 시각적 품질을 유지하면서도 저작권 정보를 담는다. 추가적으로, 학습 과정에서 왜곡층(Distortion Layer)을 추가하여 왜곡 및 변형 공격에 대한 강인성을 보장하였다.

StegaNeRF와 CopyRNeRF는 각각 명시적 및 암시적 뉴럴 렌더러에서 워터마킹 기술을 구현한 대표적인 사례로, 뉴럴 렌더러를 활용한 3D 콘텐츠의 소유권 보호와 불법 사용 방지의 핵심 기술로 자리 잡았다.

5. WateRF: 다양한 뉴럴 렌더러에 적용 가능한 워터마크 기술

기존 뉴럴 렌더러 워터마킹 방법은 암시적(Implicit) 또는 명시적(Explicit) 방식 중 하나에만 적용되는 한계가 있었다. 하지만 뉴럴 렌더러 기술이 점점 다양해지면서 모든 유형의 렌더러에 일관되게 적용 가능한 범용 워터마킹 기술이 필요하게 되었다. 이를 해결하기 위해 최근 제안된 WateRF Jang, Youngdong, et al. “WateRF: Robust Watermarks in Radiance Fields for Protection of Copyrights.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.

는 암시적 방식과 명시적 방식 모두에 적용할 수 있는 범용적인 워터마크 기술이다.

WateRF는 워터마크 디코더 학습과 모델 파라미터 미세 조정의 두 단계로 구성된다. 첫 번째 단계에서는 워터마크 디코더를 학습하며, 이미지 품질 손실 함수의 값을 0으로 설정해 워터마크 추출력을 강화한다. 학습 후에는 디코더의 마지막 레이어에 PCA Whitening을 적용해 디코더가 특정 워터마크에만 과도하게 편향되지 않도록 설계한다. 두 번째 단계에서는 학습된 워터마크 디코더를 고정하고 학습하지 않은 상태로 모델 파라미터를 미세 조정한다. 이 과정에서 워터마크의 강인성을 보장하기 위해 이산 웨이블릿 변환(Discrete Wavelet Transform)을 생성된 이미지에 적용해 저주파 영역에 워터마크를 삽입하며, 효율적인 학습을 위해 지연 역전파(Deferred Back-Propagation) 기법을 도입해 전체 이미지를 패치 단위로 변환해 학습한다. 또한, 패치 단위 손실 함수(Patch-wise Loss Function)를 사용해 워터마크가 시각적으로 감지되지 않도록 비가시성을 보장한다.

WateRF는 다양한 뉴럴 렌더러에 적용 가능하며, 기존 방법들과 비교해 워터마크의 비가시성, 수용성, 강인성 측면에서 모두 우수한 성능을 보여주었다. 이러한 기술은 뉴럴 렌더러 기반 3D 콘텐츠의 저작권 보호를 위한 중요한 도구로 자리 잡았으며, 기술적 발전의 새로운 기준을 제시했다.

6. 결론

디지털 콘텐츠의 급격한 성장과 함께 저작권 보호의 중요성이 그 어느 때보다 강조되고 있다. 특히, 3D 콘텐츠와 뉴럴 렌더러 기술의 발전은 창작과 콘텐츠 제작의 새로운 지평을 열었지만, 동시에 무분별한 복제와 불법 사용으로 인한 저작권 문제를 야기하고 있다. 이러한 문제를 해결하기 위해 디지털 워터마킹과 인공지능 기술이 결합되어 콘텐츠와 모델을 보호하는 효과적인 방법이 제안되고 있다.

뉴럴 렌더러를 포함한 다양한 인공지능 모델에 적용 가능한 워터마킹 기술은 창작물의 저작권을 보호하는 데 중요한 역할을 하고 있다. StegaNeRF, CopyRNeRF, 그리고 WateRF와 같은 기술들은 워터마킹의 비가시성, 강인성, 수용성을 효과적으로 해결하며, 저작권 보호를 위한 새로운 기준을 제시하였다. 

앞으로도 디지털 콘텐츠와 인공지능 모델의 소유권 보호를 위한 기술적·법적 체계가 더욱 발전할 것으로 기대된다. 이를 통해 공정하고 지속 가능한 디지털 생태계를 구축하고, 창작자와 사용자 모두가 보호받는 환경을 마련할 수 있을 것이다. 3D 콘텐츠와 AI 기술의 융합이 지속적으로 발전하는 가운데, 디지털 워터마킹 기술은 미래의 저작권 보호에 핵심적인 역할을 할 것이다.

1) Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65.1 (2021): 99-106.

2) Chen, Anpei, et al. "Tensorf: Tensorial radiance fields." European conference on computer vision. Cham: Springer Nature Switzerland, 2022.

3) Fridovich-Keil, Sara, et al. "Plenoxels: Radiance fields without neural networks." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.

4) Xu, Qiangeng, et al. "Point-nerf: Point-based neural radiance fields." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.

5) Park, Jaehyoung, et al. “Illegal 3D Content Distribution Tracking System based on DNN Forensic Watermarking.” 2023 International Conference on Artificial Intelligence in Information and Communication(ICAIIC). IEEE, 2023.

6) Kim, Byungjoo, et al. “Margin-based neural network watermarking.” International Conference on Machine Learning. PMLR, 2023.

7) Lee, Jae-Eun, Young-Ho Seo, and Dong-Wook Kim. “Convolutional neural network-based digital image watermarking adaptive to the resolution of image and watermark.” Applied Sciences 10.19 (2020): 6854.

8) Jang, Jinhyeok, et al. “Rethinking Data Bias: Dataset Copyright Protection via Embedding Class-Wise Hidden Bias.” European Conference on Computer Vision. Springer, Cham, 2025.

9) Yoo, Innfarn, et al. “Deep 3D-to-2D watermarking: Embedding messages in 3D meshes and extracting them from 2D renderings.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

10) Fernandez, Pierre, et al. “The stable signature: Rooting watermarks in latent diffusion models.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.

11) Kim, Changhoon, et al. “Wouaf: Weight modulation for user attribution and fingerprinting in text-to-image diffusion models.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.

12) Wen, Yuxin, et al. “Tree-rings watermarks: Invisible fingerprints for diffusion images.” Advances in Neural Information Processing Systems 36 (2024).

13) Barron, Jonathan T., et al. “Mip-nerf: A multiscale representation for anti-aliasing neural radiance fields.” Proceedings of the IEEE/CVF international conference on computer vision. 2021.

14) Li, Chenxin, et al. “Steganerf: Embedding invisible information within neural radiance fields.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.

15) Luo, Ziyuan, et al. “Copyrnerf: Protecting the copyright of neural radiance fields.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.

본 글의 내용은 블로그에서도 보실 수 있습니다.

링크: https://blog.naver.com/kcopastory/223695227538