Generative AI

Creating assets

https://deepai.org/api-docs

Adobe

PS generative fill

Express Add On ⭐️

https://firefly.adobe.com/

Pr

• https://creativecloud.adobe.com/cc/discover/article/convert-speech-to-text?locale=en

Podcast

• https://podcast.adobe.com/ ⭐️

Audio

Misc

• Podcast talk

  https://wavve.co/ ⭐️

• audacity 47% audition 33.3

  https://twitter.com/MomochiYorozu/status/1660251437644017664?t=QD6pQBMi5VPy_-Ik0JYhiw&s=19

Text to audio

• https://huggingface.co/spaces/haoheliu/audioldm-text-to-audio-generation

• https://text-to-audio.github.io/

• https://github.com/suno-ai/bark

  https://www.suno.ai/

  • https://huggingface.co/spaces/suno/bark
  • https://kurokumasoft.com/2023/06/06/bark-ai/

Free Sound Effects

• https://soundbible.com/ ⭐️

Adobe Audition

• https://helpx.adobe.com/audition/using/text-to-speeech.html
• https://www.adobe.com/products/audition/offers/AdobeAuditionDLCSFX.html

How to organize

• https://producer.musicradiocreative.com/how-to-best-organize-your-sound-effects-music-in-adobe-audition/

• https://blog.prosoundeffects.com/how-to-find-the-right-sound-effects

• https://blog.prosoundeffects.com/how-to-use-sound-effects

  • prosoundeffects.com
  • SoundQ software ⭐️

Whisper

• https://community.openai.com/t/whisper-api-a-timecodes-b-how-good-is-open-source-vs-api/163882/5

• https://github.com/m-bain/whisperX

  https://huggingface.co/spaces/openai/whisper/discussions/71

Video

RunwayML Gen2 ⭐️

• https://generativeai.pub/gen-1-an-amazing-new-generative-ai-video-technology-bb776f5fe8cc
• https://thebridge.jp/2023/06/runway-triples-valuation-in-150-days
  • https://techcrunch.com/2023/06/09/runways-gen-2-shows-the-limitations-of-todays-text-to-video-tech/

Stable Diffusion

• https://chmod774.com/draw-things-stable-diffusion/

• Photoshopの画像生成AIがすごい　ついに商用利用もスタートへ

  人物を切り抜いて、背景だけを生成させた場合は、AdobeFireflyの方が圧倒的に自然

• https://k-tai.watch.impress.co.jp/docs/column/stapa/1497045.html

  • 「DiffusionBee」　Macで手軽にStable Diffusion
  • DreamStudio SD開発元であるStability AIが提供するAI画像生成サービス

Automatic1111

• 【超初心者向け】Stable Diffusionのインストール方法（Automatic1111）

• https://ascii.jp/elem/000/004/142/4142488/

  Linuxの場合、16GBのVRAMを搭載した互換性のあるAMD製グラフィックボード

DreamStudio

• Stability for Photoshop

• Price

• LoRA

  • https://huggingface.co/blog/lora

    Low-Rank Adaptation of Large Language Models

    https://freeblog-video.com/stable-diffusion_lora/

• Eagle

  https://eagle.cool/

  https://github.com/bbc-mc/sdweb-eagle-pnginfo/blob/master/README.ja.md

ControlNet

https://github.com/Mikubill/sd-webui-controlnet

• ControlNetのScribbleでキャラデザ

• 輪郭やポーズから思い通りの絵

• ラフ画から詳細な線画、カラーイラスト画像

Cloud Providers

• https://softwarekeep.com/help-center/best-cloud-provider-for-stable-diffusion

  • Google Colab Pro
  • RunPod
  • Vast.ai
  • RunDiffusion
  • AWS

• 画像生成モデルを使ったゲーム - vast.ai

• https://www.reddit.com/r/StableDiffusion/comments/13i7yel/anyone_with_experience_running_sd_on_colab_runpod/

• https://www.reddit.com/r/StableDiffusion/comments/xl8lsn/best_way_cheapest_way_to_run_stable_diffusion_in/

  • https://pencilcase.ai/

    ONE PAYMENT FOR 24 HOURS

• Azure HPC VMでStable Diffusionする

  • 200円/時間ぐらい
  • Mac Studioで描かせると、7分55秒 Azure VMだと 16秒

Machine Specs

• 画像生成AIに2度目の革命を起こした「ControlNet」

  • 512x768ドットをアップスケールして2倍の1024x1536ドットで出力する場合、
  • 1枚当たりの生成時間は、以前「画像生成AI 速いマシンは世界が違う」で紹介した
  • DAIVのNVIDIA GeForce RTX4090（VRAM 24GB）搭載機で1分22秒。VRAMの使用率は約65%

• https://zenn.dev/karaage0703/articles/bf86fe4946417b

  • CPU Intel Core i 7
  • メモリ 32GB
  • GPU NVIDIA RTX3060(12GB)
  • WindowsでもNVIDIA Dockerを入れたら動きました

• Stable Diffusionなどの画像生成AI、84,800円（税込）のMac miniがコスパ最強

  • 内蔵GPUで爆速動作するよ

  • アップルが公式移植している

  • 当然ながらGeForce RTX 4090なんかと比べれば劇遅だけど、コスパと消費電力では圧倒している。

    mac mini16GBでautomatic1111動かして512x512の画像で１枚40秒

    現状3060のほうが断然速いよ　RTX3060で4秒なので約10倍

• https://note.com/nice_ixia735/n/nc623d9583357

  • M2 Macbook Pro 14inc
  • だいたい１分弱で画像が生成

• AMDのRadeon系GPU搭載のゲーミングミニPCでAIイラストが生成できる

  • Radeon系GPU 約10万円 ゲーミングミニPCの「HX80G」
  • 約24秒

• ASUS Zenbook Pro 14 OLED

  10枚のイラスト生成にかかった時間は148秒

• タブレットPCをパワーアップ──最強の外付けGPUユニット「ROG XG Mobile GC33Y」を試す

  • ROG Flow Z13
  • ROG XG Mobile

• Jetson AGX Orin

  • https://forums.developer.nvidia.com/t/stable-diffusion-on-jetson-agx-orin-and-xavier/229800