모든 텍스트 프롬프트에서 현실적인 이미지를 생성할 수 있는 새로운 오픈 소스 AI 이미지 생성기는 처음 1주일 동안 놀라울 정도로 빠르게 확산되었습니다. Stability AI의 Stable Diffusion은 고충실하면서도 시중에서 판매하는 소비자 하드웨어에서 실행할 수 있으므로 Artbreeder, Pixelz.ai 등의 아트 제너레이터 서비스에서 현재 사용되고 있습니다. 그러나 모델의 필터링되지 않은 특성은 모든 사용이 보드에 완전히 포함되어 있지 않다는 것을 의미합니다.

대부분의 경우 사용 사례는 상당합니다. 예를 들어 NovelAI는 Stable Diffusion을 사용하여 실험을 수행하고 플랫폼에서 사용자가 만든 AI 생성 스토리와 관련된 아트를 제작합니다. Midjourney는 포토 리얼리즘을 향상시키기 위해 Stable Diffusion을 사용하는 베타 버전을 출시했습니다.

그러나 Stable Diffusion은 별로 짜증나는 목적으로도 사용됩니다. 모델이 조기에 누출된 악명 높은 토론 보드 4chan에서는 일부 스레드가 AI에서 생성한 유명인의 누드 아트 및 생성된 다른 형식의 포르노에 바쳐지고 있습니다.

Stability AI의 CEO 인 Emad Mostaque는 모델이 4chan으로 유출되었음을 “유감”이라고 부르며 회사는 책임있는 릴리스에 대한 안전 및 기타 메커니즘에 대해 “최첨단 윤리학자 및 기술”과 협력했습니다. 하는 것을 강조했습니다. 이러한 메커니즘 중 하나는 공격적이거나 원하지 않는 이미지를 감지하고 차단하려는 전반적인 Stable Diffusion 소프트웨어 패키지에 포함된 조정 가능한 AI 도구인 Safety Classifier입니다.

그러나 Safety Classifier(기본적으로 켜짐)는 비활성화할 수 있습니다.

안정 확산은 매우 새로운 영역입니다. OpenAI DALL-E 2와 같은 다른 AI 아트 생성 시스템은 포르노 소재에 엄격한 필터를 구현합니다. (오픈 소스 Stable Diffusion 라이센스는 미성년자 착취와 같은 특정 응용 프로그램을 금지하지만 모델 자체는 기술 수준에서 묶여 있지 않습니다.) 또한 Stable Diffusion과 달리 많은 사람은 유명인의 예술을 만들 수있는 능력이 없습니다. 이 두 가지 기능을 결합하면 악의적 인 사람이 포르노의 “깊은 가짜”를 만들 수 있으며, 최악의 경우 학대를 영속시키거나 범하지 않은 범죄에 누군가를 끌어들입니다. 갈 수 있습니다.

Stable Diffusion 에 의해 작성되어 4chan 로 공개된 엠마 왓슨의 딥 페이크.

불행히도, 여성은 이것의 희생자가 될 가능성이 가장 높다. 가 밝혀졌습니다. 버클리 캘리포니아 대학의 AI 윤리학자인 Ravit Dotan은 이 AI 시스템의 미래에 나쁜 징후입니다.

“나는 불법 콘텐츠의 합성 이미지의 다른 영향에 대해 걱정하고 있습니다. 그것은 불법 행위를 악화시키는 것입니다.”라고 Dotan은 이메일로 TechCrunch에 말했습니다. “예를 들어, 합성 아이는 [exploitation] 진짜 아이의 창조를 늘리다 [exploitation]그것은 소아 성애자의 공격 수를 늘릴 것입니까? “

Montreal AI Ethics Institute의 수석 연구원 인 Abhishek Gupta도이 견해를 공유합니다. “배포 후 사용 및 모니터링을 포함한 AI 시스템의 수명 주기에 대해 생각해야 하며, 최악의 시나리오에서도 해를 최소화할 수 있는 제어를 어떻게 가정할 수 있는지 고려해야 합니다.” 말했습니다. “이것은 강력한 기능이 필요한 경우 특히 그렇습니다. [like Stable Diffusion] 예를 들어 피해자와 비슷한 불쾌한 콘텐츠를 만들면 이러한 시스템을 사용할 수있는 사람들에게 진정한 외상을 일으킬 수 있습니다.

간호사 조언에서 아버지가 어린 아이의 붓기 생식기 영역의 사진을 찍고 간호사 아이폰에 텍스트로 보낼 때 지난 1 년 동안 미리보기와 같은 것이 전개되었습니다. 자동으로 Google 포토에 백업되고 회사의 AI 필터가 아동의 성적 학대 자료로 신고되었기 때문에 남성 계정이 무효화되었으며 샌프란시스코 경찰이 조사했습니다.

Dotan과 같은 전문가들은 정당한 사진이 그러한 감지 시스템에 걸릴 수 있다면 Stable Diffusion과 같은 시스템에 의해 생성 된 깊은 가짜가 그렇지 않은 이유는 없다고 말합니다.

“사람들이 만든 AI 시스템은 최선의 의도를 가지고 있더라도 예측이나 예방이 불가능한 유해한 방법으로 사용될 수 있습니다.”라고 Dotan은 말합니다. “개발자와 연구자들은 이 점을 과소평가하는 경우가 많다고 생각합니다.”

물론, 깊은 ​​가짜를 만드는 기술은 AI를 이용한 것이든 아니든 상당히 전부터 존재하고 있었습니다. 딥 가짜 감지 회사 Sensity의 2020년 보고서에 따르면, 여성 유명 인사를 지닌 수백 개의 놀라운 깊은 가짜 동영상이 매월 세계 최대의 포르노 웹 사이트에 업로드되었습니다. 이 보고서는 온라인 딥 가짜의 총 수를 약 49,000으로 추정했으며 95 % 이상이 포르노였습니다. 엠마 왓슨, 나탈리 포트만, 빌리 아이리쉬, 테일러 스위프트 등의 여배우는 수년 전에 AI를 이용한 얼굴 교환 도구가 주류가 된 이후 깊은 가짜의 표적이 되어 왔습니다. 또한, 크리스틴 벨을 포함한 일부 여배우는 그들이 성적인 것으로 간주하는 것에 반대하는 목소리를 높입니다. 착취.

그러나 Stable Diffusion은 사용자가 최소한의 작업으로 믿을 수 없을 정도로 (완전하지는 않더라도) 설득력있는 가짜 이미지를 만들 수있는 새로운 세대 시스템을 나타냅니다. 설치도 쉽고 몇 가지 설치 파일과 하이 엔드 수백 달러의 그래픽 카드가 필요합니다. M1 MacBook에서 실행할 수 있는 보다 효율적인 버전의 시스템 개발이 진행 중입니다.

안정 확산

4chan에 게시된 카일리 카다시안의 깊은 가짜.

세바스찬 번즈 박사 런던의 퀸 메리 대학의 AI 그룹 연구자는 자동화와 사용자 정의 이미지 생성을 확장 할 수있는 가능성이 Stable Diffusion과 같은 시스템과 큰 차이이며 주요 문제입니다. 있다고 생각합니다. “대부분의 유해한 이미지는 기존의 방법으로 이미 만들 수 있지만 수작업이며 많은 노력이 필요합니다”라고 그는 말했다. “사진 현실에 가까운 영상을 생성할 수 있는 모델은 개인에 대한 개인적인 공갈 공격에 길을 양보할 수 있습니다.”

Berns는 소셜 미디어에서 수집한 개인 사진을 사용하여 Stable Diffusion 및 이러한 모델을 조정하고 타겟팅된 포르노 및 불법 행위를 묘사한 이미지를 생성할 수 있음을 우려하고 있습니다. 확실히 전례가 있습니다. 2018년에 카슈미르의 8세 소녀가 강간당한 사건을 보도한 후 인도의 조사 저널리스트인 라나 아유브는 인도의 내셔널리스트 트롤의 표적이 되었습니다. 어떤 사람들은 그녀의 얼굴이 다른 사람의 몸에있는 깊은 가짜 포르노를 만들었습니다. 딥 페이크는 국가주의 정당 BJP의 당목에 의해 공유되었고, 그 결과 Ayyub가 받은 괴롭힘은 심해지고 유엔이 개입해야 했습니다.

“Stable Diffusion은 개인에게 자동화된 협박을 제출할 수 있는 충분한 맞춤설정을 제공합니다. 해야 합니다.”라고 Berns는 계속했습니다. “웹캠이 원격으로 액세스된 후 이미 두려워하는 사람들을 보고 있습니다. 침투 단계가 더 이상 필요하지 않을 수 있습니다.”

Stable Diffusion이 세상에 나와 있으며 이미 포르노를 생성하는 데 사용되었으므로 (동의하지 않는 것도 있음) 이미지 호스트가 행동을 취할 것을 요구할 수 있습니다. TechCrunch는 주요 성인 콘텐츠 플랫폼 중 하나 인 OnlyFans에 연락했지만 게시 당시에는 연락하지 않았습니다. 성인 콘텐츠를 허용하는 Patreon 홍보 담당자는 회사가 깊은 가짜에 대한 정책을 가지고 있으며 “성인의 초상을 사용하고 성인 컨텍스트에 비 성인 콘텐츠를 배치”이미지를 허용하지 않는다고 말합니다. 있습니다.

그러나 역사가 보여주는 것이라면 법 집행은 불균일 할 가능성이 높습니다. 이는 일부는 포르노와 관련된 깊은 가짜를 구체적으로 보호하는 법이 거의 없기 때문입니다. 또한 법적 조치의 위협으로 인해 AI에서 생성된 원치 않는 콘텐츠 전용 사이트가 일부 폐쇄되더라도 새 사이트의 출현을 방해하지는 않습니다.

즉, 굽타는 용감한 새로운 세계라고 말합니다.

“창조적이고 악의적인 사용자가 기능을 악용할 수 있음 [of Stable Diffusion] 주관적으로 불쾌한 콘텐츠를 대규모로 생성하고 최소한의 리소스를 사용하여 추론을 수행하고 (모델 전체를 교육하는 것보다 저렴합니다) 트래픽을 촉진하고 관심을 끌 것입니다.”라고 Gupta는 말합니다. “이러한 기능이 API 속도 제한 등의 제어나 시스템에서 반환되는 출력의 종류에 대한 안전 제어가 더 이상 적용되지 않는 “야생”으로 유출되면 많은 위험이 발생합니다. “

Leave a Reply

Your email address will not be published.