Generative AI

Generative AI

As AI assistants and agents grow exponentially, they also replicate human creativity. While humans continue to evolve linearly, carrying forward our creative experiences from the past into the future, collaborating with AI introduces new creative experiences for us—perhaps AI feels the same way.

Creating assets

https://deepai.org/api-docs

Adobe

PS generative fill

Express Add On ⭐️

https://firefly.adobe.com/

Pr

• https://creativecloud.adobe.com/cc/discover/article/convert-speech-to-text?locale=en

Podcast

• https://podcast.adobe.com/ ⭐️

Audio

Misc

• Podcast talk

  https://wavve.co/ ⭐️

• audacity 47% audition 33.3

  https://twitter.com/MomochiYorozu/status/1660251437644017664?t=QD6pQBMi5VPy_-Ik0JYhiw&s=19

Text to audio

• https://huggingface.co/spaces/haoheliu/audioldm-text-to-audio-generation

• https://text-to-audio.github.io/

• https://github.com/suno-ai/bark

  https://www.suno.ai/

  • https://huggingface.co/spaces/suno/bark
  • https://kurokumasoft.com/2023/06/06/bark-ai/

Free Sound Effects

• https://soundbible.com/ ⭐️

Adobe Audition

• https://helpx.adobe.com/audition/using/text-to-speeech.html
• https://www.adobe.com/products/audition/offers/AdobeAuditionDLCSFX.html

How to organize

• https://producer.musicradiocreative.com/how-to-best-organize-your-sound-effects-music-in-adobe-audition/

• https://blog.prosoundeffects.com/how-to-find-the-right-sound-effects

• https://blog.prosoundeffects.com/how-to-use-sound-effects

  • prosoundeffects.com
  • SoundQ software ⭐️

Whisper

• https://community.openai.com/t/whisper-api-a-timecodes-b-how-good-is-open-source-vs-api/163882/5

• https://github.com/m-bain/whisperX

  https://huggingface.co/spaces/openai/whisper/discussions/71

Video

RunwayML Gen2 ⭐️

• https://generativeai.pub/gen-1-an-amazing-new-generative-ai-video-technology-bb776f5fe8cc
• https://thebridge.jp/2023/06/runway-triples-valuation-in-150-days
  • https://techcrunch.com/2023/06/09/runways-gen-2-shows-the-limitations-of-todays-text-to-video-tech/

Stable Diffusion

• https://chmod774.com/draw-things-stable-diffusion/

• Photoshopの画像生成AIがすごい　ついに商用利用もスタートへ

  人物を切り抜いて、背景だけを生成させた場合は、AdobeFireflyの方が圧倒的に自然

• https://k-tai.watch.impress.co.jp/docs/column/stapa/1497045.html

  • 「DiffusionBee」　Macで手軽にStable Diffusion
  • DreamStudio SD開発元であるStability AIが提供するAI画像生成サービス

Automatic1111

• 【超初心者向け】Stable Diffusionのインストール方法（Automatic1111）

• https://ascii.jp/elem/000/004/142/4142488/

  Linuxの場合、16GBのVRAMを搭載した互換性のあるAMD製グラフィックボード

DreamStudio

• Stability for Photoshop

• Price

• LoRA

  • https://huggingface.co/blog/lora

    Low-Rank Adaptation of Large Language Models

    https://freeblog-video.com/stable-diffusion_lora/

• Eagle

  https://eagle.cool/

  https://github.com/bbc-mc/sdweb-eagle-pnginfo/blob/master/README.ja.md

ControlNet

https://github.com/Mikubill/sd-webui-controlnet

• ControlNetのScribbleでキャラデザ

• 輪郭やポーズから思い通りの絵

• ラフ画から詳細な線画、カラーイラスト画像

Cloud Providers

• https://softwarekeep.com/help-center/best-cloud-provider-for-stable-diffusion

  • Google Colab Pro
  • RunPod
  • Vast.ai
  • RunDiffusion
  • AWS

• 画像生成モデルを使ったゲーム - vast.ai

• https://www.reddit.com/r/StableDiffusion/comments/13i7yel/anyone_with_experience_running_sd_on_colab_runpod/

• https://www.reddit.com/r/StableDiffusion/comments/xl8lsn/best_way_cheapest_way_to_run_stable_diffusion_in/

  • https://pencilcase.ai/

    ONE PAYMENT FOR 24 HOURS

• Azure HPC VMでStable Diffusionする

  • 200円/時間ぐらい
  • Mac Studioで描かせると、7分55秒 Azure VMだと 16秒

Machine Specs

• 画像生成AIに2度目の革命を起こした「ControlNet」

  • 512x768ドットをアップスケールして2倍の1024x1536ドットで出力する場合、
  • 1枚当たりの生成時間は、以前「画像生成AI 速いマシンは世界が違う」で紹介した
  • DAIVのNVIDIA GeForce RTX4090（VRAM 24GB）搭載機で1分22秒。VRAMの使用率は約65%

• https://zenn.dev/karaage0703/articles/bf86fe4946417b

  • CPU Intel Core i 7
  • メモリ 32GB
  • GPU NVIDIA RTX3060(12GB)
  • WindowsでもNVIDIA Dockerを入れたら動きました

• Stable Diffusionなどの画像生成AI、84,800円（税込）のMac miniがコスパ最強

  • 内蔵GPUで爆速動作するよ

  • アップルが公式移植している

  • 当然ながらGeForce RTX 4090なんかと比べれば劇遅だけど、コスパと消費電力では圧倒している。

    mac mini16GBでautomatic1111動かして512x512の画像で１枚40秒

    現状3060のほうが断然速いよ　RTX3060で4秒なので約10倍

• https://note.com/nice_ixia735/n/nc623d9583357

  • M2 Macbook Pro 14inc
  • だいたい１分弱で画像が生成

• AMDのRadeon系GPU搭載のゲーミングミニPCでAIイラストが生成できる

  • Radeon系GPU 約10万円 ゲーミングミニPCの「HX80G」
  • 約24秒

• ASUS Zenbook Pro 14 OLED

  10枚のイラスト生成にかかった時間は148秒

• タブレットPCをパワーアップ──最強の外付けGPUユニット「ROG XG Mobile GC33Y」を試す

  • ROG Flow Z13
  • ROG XG Mobile

• Jetson AGX Orin

  • https://forums.developer.nvidia.com/t/stable-diffusion-on-jetson-agx-orin-and-xavier/229800