Traditional Korean Painting Model
(Translated from English using DeepL)
불필요한 오해를 만드는 것 같아서 모델명 이름을 바꾸었습니다. 조선시대의 화가와 현대 한국화 작품, 그리고 수묵화 데이터를 가지고 미세조정 했습니다.
I renamed the model because I felt it was creating unnecessary misunderstandings. I fine-tuned it with data from Joseon era painters, modern Korean paintings, and ink paintings.
하이퍼네트워크와 SD1.5 기반의 모델을 만들고 난 뒤 몇 달 지나지 않아 SDXL이란 모델이 나왔습니다. 그 당시 SD2.1 기반의 모델은 작업을 하지 않았습니다. 그 이유는 컨트롤넷을 사용하기 어려운 점과 명확하게 SD1.5 보다는 낫지 않았기 때문에 꺼려졌습니다. 프롬프트에 따른 변화는 명확하게 줄 수 있고, 알려진 피사체에 대한 재현은 좀 더 나아 보이지만 높아진 사양에 비해서는 명확한 이점은 없었습니다. 하지만 SDXL의 경우 컨트롤넷과 여러 가지 기능이 바로 지원될 것이라고 이야기와 지원되는 해상도에 대비해서 그렇게 많은 사양을 요구하지 않았기에 시도를 해보았습니다.
A few months after creating the hypernetwork and the SD1.5-based model, a model called SDXL came out. At that time, I didn't work on the SD2.1-based model because I was reluctant to use ControlNet and because it wasn't clearly better than SD1.5. You can definitely change things based on prompts, and the reproduction of known subjects looks a little bit better, but there was no clear advantage over the higher specs. But with SDXL, they said that ControlNet and a bunch of other things would be supported out of the box, and they didn't ask for that many specs for the supported resolutions, so I gave it a shot.
제작 과정에 대해서는 이 글을 참고해 주세요.
For more information on how it was created, see this article.
HuggingFace Link
https://huggingface.co/gagong/Traditional-Korean-Painting-Model-v2.0
https://huggingface.co/gagong/korean-sumukhwa-model-ver-1
Used data
조선시대 화가 / Joseon Dynasty Painters Link
조선시대 화가의 그림은 수량이 적기 때문에, 그림을 조각내고 좌우 반전을 통해서 그림 장수를 늘렸습니다. 총 5684장.
Since the paintings of Joseon Dynasty painters are few in number, the paintings were fragmented and reversed to increase their longevity. 5684 paintings in total.
디지털 K-art 데이터 / Digital K-art data Link
11246장 중 6253장으로 줄였습니다. aihub에 있는 자료는 정말 엄청나게 많기 떄문에, 일단 그중 라벨링이 되어있는 데이터로 줄였습니다. 그렇게 11246장이 나왔으며 그 중 정사각형에 가까운 이미지를 골라서 내서 6253장이 나왔습니다.
So out of the 11,246 images, I narrowed it down to 6,253. There's a lot of data on AIHUB, so I just narrowed it down to the data that was labeled, and that gave me 11,246 images, and I picked out the ones that were close to a square, and that gave me 6,253 images.
한국 전통 수묵화 화풍별 제작 데이터 / Production data for traditional Korean ink paintings by style Link
5860장의 이미지를 정사각형으로 잘라낸 자료를 사용했습니다. 이 데이터도 엄청 많기 때문에 수량을 늘릴 수 있으나 조선시대 화가의 데이터와 비슷한 양으로 설정했습니다.
I used a baseline of 5860 images cropped into squares. This is a lot of data, so you can increase the quantity, but I set it to a similar amount to that of a Joseon painter.
이 데이터의 샘플은 아래와 같습니다.
A sample of this data is shown below
사용 가이드 / User Guide (SDXL ver)
사용 팁 / Usage Tips
일반적으로 CFG scale이 높을수록 품질이 좋지 않습니다. 10 이상으로 설정하는 것은 추천하지 않습니다. 다만 짧은 단어는 영향을 거의 받지 않는 것으로 보입니다.
In general, the higher the CFG scale, the worse the quality. We don’t recommend setting it above 10. However, shorter words seem to be less affected.긴 문장을 입력할수록 일반적인 사진으로 나올 가능성이 높습니다. 그렇다고 트리거 단어의 가중치를 늘린다고 하더라도 결과물이 더 나아지지 않습니다.
The longer sentences you type, the more likely you are to get a generic photo, and increasing the weight of the trigger word doesn’t make the result any better.추천하는 CFG scale은 4-8 사이입니다.
The recommended CFG scale is between 4-8.품질이 떨어지는 트리거 단어를 단독으로 사용하지 마세요.
Don’t use poor-quality Trigger Words in isolation.트리거 단어 여러개를 동시에 사용해서 테스트를 하진 않았지만, 일반적으로 더 좋게 나올 것으로 추측됩니다.
I haven’t tested using multiple trigger words at the same time, but I’m guessing it will generally work better.이미지가 사진처럼 나올 경우 'painting' 이나 'style'이란 프롬프트도 같이 사용하면 좀 더 나은 결과를 볼 수 있습니다. ex) kimhongdo painting
If your image comes out looking like a photo, you may see better results if you also use the "painting" or "style" prompts. ex) kimhongdo painting아직은 많이 사용하지 않아서 이후에 제시된 방법이 수정될 수 있습니다.
I haven't used it much yet, so the methods presented here may be modified in the future.
트리거 단어 리스트 / Trigger Words List
참고로 화가의 실제 그림체를 제대로 반영하지는 못합니다.
Note that this is not a true representation of the painter’s actual painting style.
큰 이미지로 보기 / View as a larger image Link
whtjs
조선시대 화가의 평균적인 화풍을 구현합니다.
Emulates the average painting style of a Joseon era painter.kangsehwang
가장 단순한 형태로 그려집니다.
It is drawn in its simplest form.kimhongdo
가장 품질이 뛰어납니다.
The highest quality.sinyunbok
두 번째로 품질이 뛰어납니다.
Second highest quality.simsajeong
그림에서 여성의 얼굴이 나올 확률이 높습니다.
A woman’s face is more likely to be in the image.anjungsik
가장 품질이 좋지 않습니다.
The lowest quality.jangseungeop
두 번째로 품질이 좋지 않습니다.
Second worst quality.heoryeon
가장 색상이 적은 결과물이 나옵니다.
The result is the one with the least colour.gksrnr
현대적인 형태를 만듭니다. 신체 오류가 자주납니다.
Creates modern shapes. Body errors are frequent.tnanr
아래 세 가지 수묵화 기법의 평균적인 모습을 만듭니다.
Produces an average look of the three ink painting techniques below.baengmyo
whtjs의 결과와 유사하게 나올 때가 많습니다.
The results are often similar to those of ‘whtjs’gureuk
얇은 경계가 있는 느낌으로 그림이 나옵니다.
The result is a picture with a thin border.molgol
경계가 없는 결과물을 만들어 냅니다.
Produces results that have no boundaries.
사용 가이드 / User Guide (SD 1.5 ver)
Trigger Words: GKSRNRGHK, RLAGHDEH
한국 수묵화 데이터는 6000장 정도 김홍도 그림은 1000장 정도 사용되었습니다. 그런 이유인지, 한국 수묵화 스타일로 하려면 CFG Scale를 2-7 사이로 김홍도 그림의 스타일로 하려면 4-12사이를 추천합니다. 두개의 스타일 모두 활용할 경우 중간 값으로 하는 것을 추천합니다. 스텝수에도 영향을 받기 때문에 적절한 값을 찾는 것이 중요합니다.
For Korean ink wash painting style, it is recommended to use CFG Scale between 2-7. For Kim Hong-do's painting style, a range of 4-12 is recommended. If you want to utilize both styles, it is recommended to use an intermediate value. The step count also affects the output, so finding an appropriate value is important.
작동을 잘 하지않지만 기법에 대한 프롬프트도 적용이 되어있으며 사용할 때는 아래 프롬프트를 사용하면 됩니다. (하지만 미묘한 차이만이 발생합니다.)
Although it does not perform well, the prompts for the techniques are applied, and when using it, you can use the following prompts. (However, only subtle differences may occur.) Translate it into English.
백묵법/Baekmukbeob: baegmyobeob
몰골법/molgolbeob: molgolbeob
구륵법/guleugbeob: guleugbeob
김홍도 그림을 강조하고 싶으면 rlaghdeh style, rlaghdeh painting이란 프롬프트를 같이 사용하면 좀더 강조가 됩니다.
If you want to emphasize Kim Hong-do's painting style, using the prompts "rlaghdeh style" and "rlaghdeh painting" together will enhance the emphasis.
샘플 이미지 / Sample Images
txt2img의 샘플이미지 입니다.
Here is a sample image from txt2img
Description
SD 1.5 버전 입니다.
FAQ
Comments (15)
To me, it's looks like Chinese Shuimo painting.
Naturally, as China is a neighboring country to Korea and has been influenced by China, it is evident that their paintings would appear similar.
I used ChatGPT to translate this message.
To me, your face look like a Japanese face
Please google shinyunbok and kimhongdo- They're KOREAN artists with their own distinctive styles. As the OP said, Korean art was influenced by Chinese Song dynasty art so there's obviously a resemblance. Kinda similar to how European architecture share similarities you know?
I also think it looks more like a Chinese ink painting. It may be that this LORA looks relatively simple, so the creator thinks it can be said to be Han's ink painting.
You said I resemble the paintings of the Han Dynasty, but as far as I know, ink wash painting emerged during the Tang Dynasty, which came after the Han Dynasty. Let me confirm if it's accurate. I also have an interest in Chinese culture, so I'm curious to know the correct story behind it.
If we talk about ink wash painting in China, it's natural that it may resemble Korean ink wash painting because it originated from China.
Thank you for leaving a comment. I appreciate it.
I used ChatGPT to translate this message.
This is Chinese painting . Korean Thief
Generally, it is acceptable to comment that someone looks similar, but saying they stole something is a bit different. I haven't trained on Chinese painting data, and I have never claimed that Chinese paintings are Korean paintings. Also, I haven't asserted that Korea is the place where ink wash painting originated in the East
I used ChatGPT to translate this message.
개쓸레기 소리 하지마 한국 것 다 도둑질 하는 건 니네 짱깨들이야 ㅂㅅㅅㄲㄲㄲ
@xixi3242878
中文：你是否知道，如果现在的韩国人像你们的祖先那样使用汉字，那么中国人和韩国人在网上“吵架”，可以不用这么麻烦的
English: Do you know that if modern Koreans use Chinese characters like your ancestors, then Chinese and Koreans wouldn't have to go through such trouble 'arguing' online?
한국어: 혹시 알고 계세요? 만약 현대 한국인들이 당신들의 선조처럼 한자를 사용한다면, 중국인과 한국인이 온라인에서 '언쟁'을 할 때 이렇게 귀찮을 일이 없을 겁니다.
@koufei
First of all, I apologize as a fellow Korean for the unkind comments above.
In the past, Koreans used hanja and wrote in it, but they didn't speak Chinese, so there would still be difficulties in communication. Of course, they also used to communicate in handwriting, so it would only be possible for those who had learned Chinese properly. Also, the use of hanja in Korea was called "Idu script" and was written in various ways, so communication in general may be more difficult.
일단 위의 좋지 않은 댓글에 달린 것에 대해 같은 한국인으로서 사과합니다.
과거에 한국사람들이 한자를 사용했고 그것으로 글을 쓰기도 했지만 중국어를 쓰지는 않았기 때문에 여전히 언어소통에는 어려움이 있었을 것입니다. 물론 필담으로 대화를 나누기도 했기 때문에 한문을 제대로 배운 계층에 한정해서 가능 했을것입니다. 또 한국에서 한자의 사용은 '이두'라든지 다양한 방식으로 쓰였기 때문에 일반적으로 소통은 더 어려울 가능성이 있습니다.
The title clearly states that all the pictures featured on this website are derived from "Korean Sumukhwa," which originates from datasets created by institutes in South Korea. These institutes have developed these datasets with the intention of safeguarding against cultural theft, particularly from other countries like China. It is not surprising that some individuals from China, in the comments section, have claimed that the picture style bears resemblance to their own traditional figures. As a native Korean, I find it difficult to comprehend why they would attempt to appropriate the identity of South Korea by making such perplexing comments on the web. It is essential to address these concerns and provide further clarification regarding the origin of the pictures to foster a better understanding among users.
小偷是这样子的捏
The crooked trees and distinctive mountain expressions are not uncommon in Kim Hong-do's paintings. It's not that the Chinese were simply wrong. The ink painting technique itself probably originated in the Tang Dynasty. It's hard not to be influenced by it.
(If my translation is correct, I think someone mentioned the Han Dynasty... which is kind of sad).
As we increase our training data, this tendency may only get worse. There are even painters who copied Chinese iconography. (Of course, I could be missing something, but I don't think it would have much of an impact.)
I plan to expand the data a few more times to learn more, but I'll need to organize what data I'm getting for the next iteration. Personally, I'm not offended by the Chinese comments, and I'm sure they'll be able to come to some conclusions as they talk about this a lot, and there will be some consensus. But it will take a lot of time to get there.
But I think this project has made me think about a lot of different things. It's not Japanese ukiyo-e, but in some cases, it creates images that are similar to it. It's made me think about what makes each country's unique style of painting. And it's not just limited to painting.
In Korea, some people criticize the architecture of a certain architect for being too white, and the architect defends it by saying that it's a modern interpretation of Korean architecture. Usually, the criticism or accusation sounds convincing because of the architect's study abroad experience or background. However, as I was working on this project, I wondered if I shouldn't simply label the combination of traditional and modern elements in Asia as a dwarf color.
This made me think about what is similar to Chinese ink paintings and what is different, and I think I will be able to consider these things next time.
translated to deepL
구부러진 나무나 특유의 산 표현은 김홍도 작가의 그림으로 부터 유례 합니다. 중국인들이 느낀게 단순히 잘못됬다고 볼 수는 없습니다. 수묵화 기법 자체는 당나라에서 아마 시작되었던 것으로 알고있습니다. 당연히 영향을 받지 않을 순 없을것입니다.
(번역이 잘된게 맞다면 어느분이 한나라 언급한 것 같은데... 이점은 좀 슬프네요.)
앞으로 학습 데이터를 늘리면 이런 경향은 더 심해질 수도 있을 것입니다. 아예 중국식 도상을 따라한 화가도 존재하긴 하니까요. (물론 빠질수도 있지만, 큰 영향은 없을 것 같습니다.)
몇 번더 데이터를 확장해서 학습할 계획인데, 다음번 수정 때는 어떤 데이터가 어떤 결과를 가지고 왔는지를 좀 정리할 필요를 느낍니다. 개인적으로 중국인들의 댓글이 화나지는 않습니다. 그리고 이런 이야기가 많이 오가면서 그들도 어떠한 결론에 도달 할 수 있을 것이고 어느정도 합의가 나오지 않을까 싶습니다. 다만 거기에 도달하는 시간은 많이 걸리겠지만요.
다만 이번 작업을 하면서 여러가지 생각을 할 수 있었습니다. 일본 우키요에가 들어가진 않지만 경우에 따라서는 그와 비슷한 이미지도 만들어지기도 합니다. 각 국가의 특유의 그림 스타일이 무엇에 의해 결정되는지 생각하게 되는 계기가 되었다랄까요. 그리고 이는 그림에만 국한된 것이 아닙니다.
한국에서 특정 건축가의 건축물을 왜색이라고 비난 하는 경우도 있습니다. 그 건축가는 한국 건축을 현대적으로 재해석 했다고 해명하기도 합니다. 일반적으로는 그 건축가의 유학경험이나 출신을 통해서 비판이나 비난이 설득력 있게 들립니다. 하지만 이번 작업을 하면서, 단순히 아시아의 전통적인 요소와 현대적인 요소의 결합을 왜색이라고 단정지은 것은 아닌가 하는 생각을 하기도 합니다.
이번 계기로 중국의 수묵화와 어떤것이 비슷하고 어떤 것이 다른지 생각해보게 되었는데, 다음번엔 이런점들도 고려해서 작업을 할 수 있게 된것 같습니다.
This is awesome design. Don't worry about ignorant people who doesn't have any knowledge of Korean history. Kim heung Do is one of historical Korean artist and he is one of my favorite. Thanks for your hardwork.