Upload 4 files

INSTALACAO.md

@@ -0,0 +1,369 @@
+# 🛠️ Guia de Instalação - LoRA Trainer Funcional
+
+## 📋 Pré-requisitos
+
+### Sistema Operacional
+- **Linux**: Ubuntu 20.04+ (recomendado)
+- **Windows**: Windows 10/11 com WSL2
+- **macOS**: macOS 12+ (limitado, sem GPU)
+
+### Hardware
+- **GPU**: NVIDIA com 6GB+ VRAM (obrigatório)
+- **RAM**: 16GB+ (recomendado)
+- **Armazenamento**: 20GB+ livres
+- **CPU**: Qualquer CPU moderno
+
+### Software
+- **Python**: 3.8 a 3.11
+- **CUDA**: 11.8 ou 12.1
+- **Git**: Para clonar repositórios
+
+## 🚀 Instalação Local
+
+### Método 1: Instalação Completa
+
+```bash
+# 1. Clone o repositório
+git clone <repository-url>
+cd lora_trainer_hf
+
+# 2. Crie ambiente virtual
+python -m venv venv
+source venv/bin/activate  # Linux/Mac
+# ou
+venv\Scripts\activate     # Windows
+
+# 3. Instale dependências
+pip install -r requirements.txt
+
+# 4. Execute a aplicação
+python app.py
+```
+
+### Método 2: Instalação com Conda
+
+```bash
+# 1. Crie ambiente conda
+conda create -n lora_trainer python=3.10
+conda activate lora_trainer
+
+# 2. Instale PyTorch com CUDA
+conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
+
+# 3. Clone e instale
+git clone <repository-url>
+cd lora_trainer_hf
+pip install -r requirements.txt
+
+# 4. Execute
+python app.py
+```
+
+## 🐳 Instalação com Docker
+
+### Dockerfile Incluído
+
+```bash
+# 1. Build da imagem
+docker build -t lora-trainer .
+
+# 2. Execute o container
+docker run -p 7860:7860 --gpus all lora-trainer
+```
+
+### Docker Compose
+
+```yaml
+version: '3.8'
+services:
+  lora-trainer:
+    build: .
+    ports:
+      - "7860:7860"
+    volumes:
+      - ./data:/tmp/lora_training
+    deploy:
+      resources:
+        reservations:
+          devices:
+            - driver: nvidia
+              count: 1
+              capabilities: [gpu]
+```
+
+## ☁️ Deploy no Hugging Face Spaces
+
+### Configuração do Space
+
+1. **Crie um novo Space**:
+   - Vá para [huggingface.co/new-space](https://huggingface.co/new-space)
+   - Escolha "Gradio" como SDK
+   - Selecione hardware com GPU
+
+2. **Configure o Space**:
+   ```yaml
+   # space_config.yml
+   title: LoRA Trainer Funcional
+   emoji: 🎨
+   colorFrom: blue
+   colorTo: purple
+   sdk: gradio
+   sdk_version: 4.0.0
+   app_file: app.py
+   pinned: false
+   hardware: t4-medium  # ou a100-large
+   ```
+
+3. **Upload dos arquivos**:
+   - `app.py`
+   - `requirements.txt`
+   - `README.md`
+   - Pasta `sd-scripts/`
+
+### Configuração de Hardware
+
+| Hardware | VRAM | RAM | Recomendado Para |
+|----------|------|-----|------------------|
+| CPU Basic | 0GB | 16GB | Apenas teste |
+| T4 Small | 16GB | 15GB | Projetos pequenos |
+| T4 Medium | 16GB | 30GB | Projetos médios |
+| A10G Small | 24GB | 30GB | Projetos grandes |
+| A100 Large | 40GB | 80GB | Projetos profissionais |
+
+## 🔧 Configuração de Dependências
+
+### Dependências Principais
+
+```txt
+# Core ML
+torch>=2.0.0
+torchvision>=0.15.0
+diffusers>=0.21.0
+transformers>=4.25.0
+accelerate>=0.20.0
+
+# LoRA Training
+safetensors>=0.3.0
+huggingface-hub>=0.16.0
+xformers>=0.0.20
+bitsandbytes>=0.41.0
+
+# Interface
+gradio>=4.0.0
+
+# Utilities
+Pillow>=9.0.0
+opencv-python>=4.7.0
+numpy>=1.21.0
+toml>=0.10.0
+tqdm>=4.64.0
+```
+
+### Instalação Manual de Dependências
+
+```bash
+# PyTorch (ajuste para sua versão CUDA)
+pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
+
+# Diffusers e Transformers
+pip install diffusers transformers accelerate
+
+# Otimização
+pip install xformers bitsandbytes
+
+# Interface
+pip install gradio
+
+# Utilitários
+pip install safetensors huggingface-hub Pillow opencv-python numpy toml tqdm
+```
+
+## 🐛 Solução de Problemas de Instalação
+
+### Erro: CUDA não encontrado
+
+```bash
+# Verifique instalação CUDA
+nvidia-smi
+nvcc --version
+
+# Reinstale PyTorch com CUDA
+pip uninstall torch torchvision torchaudio
+pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
+```
+
+### Erro: xFormers não compatível
+
+```bash
+# Instale versão específica
+pip install xformers==0.0.20
+
+# Ou compile do código fonte
+pip install -U xformers --index-url https://download.pytorch.org/whl/cu118
+```
+
+### Erro: Memória insuficiente
+
+```bash
+# Aumente swap (Linux)
+sudo fallocate -l 8G /swapfile
+sudo chmod 600 /swapfile
+sudo mkswap /swapfile
+sudo swapon /swapfile
+
+# Configure variáveis de ambiente
+export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512
+```
+
+### Erro: Dependências conflitantes
+
+```bash
+# Limpe cache pip
+pip cache purge
+
+# Crie ambiente limpo
+python -m venv fresh_env
+source fresh_env/bin/activate
+pip install --upgrade pip
+pip install -r requirements.txt
+```
+
+## 🔒 Configuração de Segurança
+
+### Variáveis de Ambiente
+
+```bash
+# .env
+HUGGINGFACE_TOKEN=your_token_here
+WANDB_API_KEY=your_wandb_key
+CUDA_VISIBLE_DEVICES=0
+PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512
+```
+
+### Limitações de Recursos
+
+```python
+# No app.py
+import resource
+
+# Limite de memória (8GB)
+resource.setrlimit(resource.RLIMIT_AS, (8*1024*1024*1024, -1))
+
+# Limite de processos
+resource.setrlimit(resource.RLIMIT_NPROC, (100, -1))
+```
+
+## 📊 Verificação da Instalação
+
+### Script de Teste
+
+```python
+# test_installation.py
+import torch
+import diffusers
+import transformers
+import gradio as gr
+import safetensors
+
+print("✅ Verificando instalação...")
+print(f"Python: {sys.version}")
+print(f"PyTorch: {torch.__version__}")
+print(f"CUDA disponível: {torch.cuda.is_available()}")
+print(f"GPU: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'Não disponível'}")
+print(f"Diffusers: {diffusers.__version__}")
+print(f"Transformers: {transformers.__version__}")
+print(f"Gradio: {gr.__version__}")
+print("✅ Instalação verificada!")
+```
+
+### Teste de GPU
+
+```python
+# test_gpu.py
+import torch
+
+if torch.cuda.is_available():
+    device = torch.device("cuda")
+    x = torch.randn(1000, 1000).to(device)
+    y = torch.randn(1000, 1000).to(device)
+    z = torch.mm(x, y)
+    print(f"✅ GPU funcionando: {torch.cuda.get_device_name(0)}")
+    print(f"VRAM total: {torch.cuda.get_device_properties(0).total_memory / 1024**3:.1f} GB")
+    print(f"VRAM livre: {torch.cuda.memory_reserved(0) / 1024**3:.1f} GB")
+else:
+    print("❌ GPU não disponível")
+```
+
+## 🚀 Otimização de Performance
+
+### Configurações de Sistema
+
+```bash
+# Aumentar limites de arquivo
+echo "* soft nofile 65536" >> /etc/security/limits.conf
+echo "* hard nofile 65536" >> /etc/security/limits.conf
+
+# Otimizar scheduler
+echo "performance" > /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
+```
+
+### Configurações PyTorch
+
+```python
+# No início do app.py
+import torch
+torch.backends.cudnn.benchmark = True
+torch.backends.cuda.matmul.allow_tf32 = True
+torch.backends.cudnn.allow_tf32 = True
+```
+
+## 📝 Logs e Monitoramento
+
+### Configuração de Logs
+
+```python
+import logging
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
+    handlers=[
+        logging.FileHandler('lora_trainer.log'),
+        logging.StreamHandler()
+    ]
+)
+```
+
+### Monitoramento de Recursos
+
+```bash
+# Instalar htop e nvidia-ml-py
+pip install nvidia-ml-py3 psutil
+
+# Monitorar em tempo real
+watch -n 1 nvidia-smi
+```
+
+## 🔄 Atualizações
+
+### Atualizar Dependências
+
+```bash
+# Atualizar requirements
+pip install --upgrade -r requirements.txt
+
+# Atualizar kohya-ss
+cd sd-scripts
+git pull origin main
+```
+
+### Backup de Configurações
+
+```bash
+# Backup de modelos e configurações
+tar -czf backup_$(date +%Y%m%d).tar.gz /tmp/lora_training/
+```
+
+---
+
+**Nota**: Para suporte adicional, consulte a documentação oficial do kohya-ss e a comunidade Hugging Face.
+

MANUAL_DE_USO.md

@@ -0,0 +1,287 @@
+# 📖 Manual de Uso - LoRA Trainer Funcional
+
+## 🎯 Visão Geral
+
+Este LoRA Trainer é uma ferramenta **100% funcional** baseada no kohya-ss sd-scripts que permite treinar modelos LoRA reais para Stable Diffusion. A ferramenta foi desenvolvida especificamente para funcionar no Hugging Face Spaces e oferece todas as funcionalidades necessárias para um treinamento profissional.
+
+## 🚀 Início Rápido
+
+### Passo 1: Instalação das Dependências
+1. Acesse a aba "🔧 Instalação"
+2. Clique em "📦 Instalar Dependências"
+3. Aguarde a instalação completa (pode levar alguns minutos)
+
+### Passo 2: Configuração do Projeto
+1. Vá para a aba "📁 Configuração do Projeto"
+2. Digite um nome único para seu projeto (ex: "meu_lora_anime")
+3. Escolha um modelo base ou insira uma URL personalizada
+4. Clique em "📥 Baixar Modelo"
+
+### Passo 3: Preparação do Dataset
+1. Organize suas imagens em uma pasta local
+2. Para cada imagem, crie um arquivo .txt com o mesmo nome
+3. Compacte tudo em um arquivo ZIP
+4. Faça upload na seção "📊 Upload do Dataset"
+5. Clique em "📊 Processar Dataset"
+
+### Passo 4: Configuração dos Parâmetros
+1. Acesse a aba "⚙️ Parâmetros de Treinamento"
+2. Ajuste os parâmetros conforme sua necessidade
+3. Use as configurações recomendadas como ponto de partida
+
+### Passo 5: Treinamento
+1. Vá para a aba "🚀 Treinamento"
+2. Clique em "📝 Criar Configuração de Treinamento"
+3. Clique em "🎯 Iniciar Treinamento"
+4. Acompanhe o progresso em tempo real
+
+### Passo 6: Download dos Resultados
+1. Acesse a aba "📥 Download dos Resultados"
+2. Clique em "🔄 Atualizar Lista de Arquivos"
+3. Selecione e baixe seu LoRA treinado
+
+## 📋 Requisitos do Sistema
+
+### Mínimos
+- **GPU**: NVIDIA com 6GB VRAM
+- **RAM**: 8GB
+- **Espaço**: 5GB livres
+
+### Recomendados
+- **GPU**: NVIDIA com 12GB+ VRAM
+- **RAM**: 16GB+
+- **Espaço**: 20GB+ livres
+
+## 🎨 Preparação do Dataset
+
+### Estrutura Recomendada
+```
+meu_dataset/
+├── imagem001.jpg
+├── imagem001.txt
+├── imagem002.png
+├── imagem002.txt
+├── imagem003.webp
+├── imagem003.txt
+└── ...
+```
+
+### Formatos Suportados
+- **Imagens**: JPG, PNG, WEBP, BMP, TIFF
+- **Captions**: TXT (UTF-8)
+
+### Exemplo de Caption
+```
+1girl, long hair, blue eyes, school uniform, smile, outdoors, cherry blossoms, anime style, high quality
+```
+
+### Dicas para Captions
+- Use vírgulas para separar tags
+- Coloque tags importantes no início
+- Seja específico mas conciso
+- Use tags consistentes em todo o dataset
+
+## ⚙️ Configuração de Parâmetros
+
+### Parâmetros Básicos
+
+#### Resolução
+- **512px**: Padrão, mais rápido, menor uso de memória
+- **768px**: Melhor qualidade, moderado
+- **1024px**: Máxima qualidade, mais lento
+
+#### Batch Size
+- **1**: Menor uso de memória, mais lento
+- **2-4**: Equilibrado (recomendado)
+- **8+**: Apenas para GPUs potentes
+
+#### Épocas
+- **5-10**: Para datasets grandes (50+ imagens)
+- **10-20**: Para datasets médios (20-50 imagens)
+- **20-30**: Para datasets pequenos (10-20 imagens)
+
+### Parâmetros Avançados
+
+#### Learning Rate
+- **1e-3**: Muito alto, pode causar instabilidade
+- **5e-4**: Padrão, bom para a maioria dos casos
+- **1e-4**: Conservador, para datasets grandes
+- **5e-5**: Muito baixo, treinamento lento
+
+#### Network Dimension
+- **8-16**: LoRAs pequenos, menos detalhes
+- **32**: Padrão, bom equilíbrio
+- **64-128**: Mais detalhes, arquivos maiores
+
+#### Network Alpha
+- Geralmente metade do Network Dimension
+- Controla a força do LoRA
+- Valores menores = efeito mais sutil
+
+### Tipos de LoRA
+
+#### LoRA Clássico
+- Menor tamanho de arquivo
+- Bom para uso geral
+- Mais rápido para treinar
+
+#### LoCon
+- Melhor para estilos artísticos
+- Mais camadas de aprendizado
+- Arquivos maiores
+
+## 🎯 Configurações por Tipo de Projeto
+
+### Para Personagens/Pessoas
+```
+Imagens: 15-30 variadas
+Network Dim: 32
+Network Alpha: 16
+Learning Rate: 1e-4
+Épocas: 10-15
+Batch Size: 2
+```
+
+### Para Estilos Artísticos
+```
+Imagens: 30-50 do estilo
+Tipo: LoCon
+Network Dim: 64
+Network Alpha: 32
+Learning Rate: 5e-5
+Épocas: 15-25
+Batch Size: 1-2
+```
+
+### Para Objetos/Conceitos
+```
+Imagens: 10-25
+Network Dim: 16
+Network Alpha: 8
+Learning Rate: 5e-4
+Épocas: 8-12
+Batch Size: 2-4
+```
+
+## 🔧 Solução de Problemas
+
+### Erro de Memória (CUDA OOM)
+**Sintomas**: "CUDA out of memory"
+**Soluções**:
+- Reduza o batch size para 1
+- Diminua a resolução para 512px
+- Use mixed precision fp16
+
+### Treinamento Muito Lento
+**Sintomas**: Progresso muito lento
+**Soluções**:
+- Aumente o batch size (se possível)
+- Use resolução menor
+- Verifique se xFormers está ativo
+
+### Resultados Ruins/Overfitting
+**Sintomas**: LoRA não funciona ou muito forte
+**Soluções**:
+- Reduza o learning rate
+- Diminua o número de épocas
+- Use mais imagens variadas
+- Ajuste network alpha
+
+### Erro de Configuração
+**Sintomas**: Falha ao criar configuração
+**Soluções**:
+- Verifique se o modelo foi baixado
+- Confirme que o dataset foi processado
+- Reinicie a aplicação
+
+## 📊 Monitoramento do Treinamento
+
+### Métricas Importantes
+- **Loss**: Deve diminuir gradualmente
+- **Learning Rate**: Varia conforme scheduler
+- **Tempo por Época**: Depende do hardware
+
+### Sinais de Bom Treinamento
+- Loss diminui consistentemente
+- Sem erros de memória
+- Progresso estável
+
+### Sinais de Problemas
+- Loss oscila muito
+- Erros frequentes
+- Progresso muito lento
+
+## 💾 Gerenciamento de Arquivos
+
+### Estrutura de Saída
+```
+/tmp/lora_training/projects/meu_projeto/
+├── dataset/          # Imagens processadas
+├── output/           # LoRAs gerados
+├── logs/            # Logs do treinamento
+├── dataset_config.toml
+└── training_config.toml
+```
+
+### Arquivos Gerados
+- **projeto_epoch_0001.safetensors**: LoRA da época 1
+- **projeto_epoch_0010.safetensors**: LoRA da época 10
+- **logs/**: Logs detalhados do TensorBoard
+
+## 🎨 Uso dos LoRAs Treinados
+
+### No Automatic1111
+1. Copie o arquivo .safetensors para `models/Lora/`
+2. Use na prompt: `<lora:nome_do_arquivo:0.8>`
+3. Ajuste o peso (0.1 a 1.5)
+
+### No ComfyUI
+1. Coloque o arquivo em `models/loras/`
+2. Use o nó "Load LoRA"
+3. Conecte ao modelo
+
+### Pesos Recomendados
+- **0.3-0.6**: Efeito sutil
+- **0.7-1.0**: Efeito padrão
+- **1.1-1.5**: Efeito forte
+
+## 🔄 Melhores Práticas
+
+### Antes do Treinamento
+1. **Qualidade sobre Quantidade**: 20 imagens boas > 100 ruins
+2. **Variedade**: Use ângulos, poses e cenários diferentes
+3. **Consistência**: Mantenha estilo consistente nas captions
+4. **Backup**: Salve configurações que funcionaram
+
+### Durante o Treinamento
+1. **Monitore**: Acompanhe o progresso regularmente
+2. **Paciência**: Não interrompa sem necessidade
+3. **Recursos**: Monitore uso de GPU/RAM
+
+### Após o Treinamento
+1. **Teste**: Experimente diferentes pesos
+2. **Compare**: Teste épocas diferentes
+3. **Documente**: Anote configurações que funcionaram
+4. **Compartilhe**: Considere compartilhar bons resultados
+
+## 🆘 Suporte e Recursos
+
+### Documentação Adicional
+- [Guia Oficial kohya-ss](https://github.com/kohya-ss/sd-scripts)
+- [Documentação Diffusers](https://huggingface.co/docs/diffusers)
+- [Comunidade Stable Diffusion](https://discord.gg/stable-diffusion)
+
+### Logs e Debug
+- Verifique os logs em `/tmp/lora_training/projects/seu_projeto/logs/`
+- Use TensorBoard para visualizar métricas
+- Salve configurações que funcionaram bem
+
+### Limitações Conhecidas
+- Requer GPU NVIDIA com CUDA
+- Modelos grandes podem precisar de mais memória
+- Treinamento pode ser lento em hardware limitado
+
+---
+
+**Nota**: Esta ferramenta é para fins educacionais e de pesquisa. Use responsavelmente e respeite direitos autorais das imagens utilizadas.
+

app.log

@@ -0,0 +1,28 @@
+nohup: ignoring input
+2025-09-18 00:04:04,545 - INFO - HTTP Request: GET http://localhost:7860/gradio_api/startup-events "HTTP/1.1 200 OK"
+2025-09-18 00:04:04,552 - INFO - HTTP Request: GET https://api.gradio.app/pkg-version "HTTP/1.1 200 OK"
+2025-09-18 00:04:04,567 - INFO - HTTP Request: HEAD http://localhost:7860/ "HTTP/1.1 200 OK"
+2025-09-18 00:04:24,666 - INFO - Failed to extract font properties from /usr/share/fonts/truetype/noto/NotoColorEmoji.ttf: Can not load face (unknown file format; error code 0x2)
+2025-09-18 00:04:27,411 - INFO - generated new fontManager
+2025-09-18 00:04:28,054 - INFO - Instalando dependências...
+2025-09-18 00:04:31,066 - INFO - ✓ torch>=2.0.0 instalado
+2025-09-18 00:04:33,208 - INFO - ✓ torchvision>=0.15.0 instalado
+2025-09-18 00:04:39,480 - INFO - ✓ diffusers>=0.21.0 instalado
+2025-09-18 00:04:49,889 - INFO - ✓ transformers>=4.25.0 instalado
+2025-09-18 00:04:53,676 - INFO - ✓ accelerate>=0.20.0 instalado
+2025-09-18 00:04:56,344 - INFO - ✓ safetensors>=0.3.0 instalado
+2025-09-18 00:04:59,020 - INFO - ✓ huggingface-hub>=0.16.0 instalado
+2025-09-18 00:05:07,028 - INFO - ✓ xformers>=0.0.20 instalado
+2025-09-18 00:05:12,484 - INFO - ✓ bitsandbytes>=0.41.0 instalado
+2025-09-18 00:05:21,248 - INFO - ✓ opencv-python>=4.7.0 instalado
+2025-09-18 00:05:23,918 - INFO - ✓ Pillow>=9.0.0 instalado
+2025-09-18 00:05:26,657 - INFO - ✓ numpy>=1.21.0 instalado
+2025-09-18 00:05:29,418 - INFO - ✓ tqdm>=4.64.0 instalado
+2025-09-18 00:05:32,208 - INFO - ✓ toml>=0.10.0 instalado
+2025-09-18 00:05:38,213 - INFO - ✓ tensorboard>=2.13.0 instalado
+2025-09-18 00:05:44,404 - INFO - ✓ wandb>=0.15.0 instalado
+2025-09-18 00:05:53,254 - INFO - ✓ scipy>=1.9.0 instalado
+2025-09-18 00:05:56,225 - INFO - ✓ matplotlib>=3.5.0 instalado
+2025-09-18 00:06:06,615 - INFO - ✓ datasets>=2.14.0 instalado
+2025-09-18 00:06:10,447 - INFO - ✓ peft>=0.5.0 instalado
+2025-09-18 00:06:14,753 - INFO - ✓ omegaconf>=2.3.0 instalado

requirements.txt

@@ -0,0 +1,42 @@
+# Core ML libraries
+torch>=2.0.0
+torchvision>=0.15.0
+torchaudio>=2.0.0
+
+# Diffusion and transformers
+diffusers>=0.21.0
+transformers>=4.25.0
+accelerate>=0.20.0
+safetensors>=0.3.0
+huggingface-hub>=0.16.0
+
+# Optimization
+xformers>=0.0.20
+bitsandbytes>=0.41.0
+
+# Data processing
+Pillow>=9.0.0
+opencv-python>=4.7.0
+numpy>=1.21.0
+scipy>=1.9.0
+
+# Configuration and utilities
+toml>=0.10.0
+omegaconf>=2.3.0
+tqdm>=4.64.0
+
+# Logging and monitoring
+tensorboard>=2.13.0
+wandb>=0.15.0
+
+# Web interface
+gradio>=4.0.0
+
+# Additional utilities
+matplotlib>=3.5.0
+datasets>=2.14.0
+peft>=0.5.0
+
+# System utilities
+psutil>=5.9.0
+