Merge branch 'main' into main

Author: simpletrontdip

invokeai/app/invocations/flux_redux.py

@@ -20,8 +20,11 @@
 )
 from invokeai.app.invocations.model import ModelIdentifierField
 from invokeai.app.invocations.primitives import ImageField
+from invokeai.app.services.model_records.model_records_base import ModelRecordChanges
 from invokeai.app.services.shared.invocation_context import InvocationContext
 from invokeai.backend.flux.redux.flux_redux_model import FluxReduxModel
+from invokeai.backend.model_manager.config import AnyModelConfig, BaseModelType, ModelType
+from invokeai.backend.model_manager.starter_models import siglip
 from invokeai.backend.sig_lip.sig_lip_pipeline import SigLipPipeline
 from invokeai.backend.util.devices import TorchDevice
 
@@ -35,16 +38,12 @@ class FluxReduxOutput(BaseInvocationOutput):
     )
 
 
-SIGLIP_STARTER_MODEL_NAME = "SigLIP - google/siglip-so400m-patch14-384"
-FLUX_REDUX_STARTER_MODEL_NAME = "FLUX Redux"
-
-
 @invocation(
     "flux_redux",
     title="FLUX Redux",
     tags=["ip_adapter", "control"],
     category="ip_adapter",
-    version="1.0.0",
+    version="2.0.0",
     classification=Classification.Prototype,
 )
 class FluxReduxInvocation(BaseInvocation):
@@ -61,11 +60,6 @@ class FluxReduxInvocation(BaseInvocation):
         title="FLUX Redux Model",
         ui_type=UIType.FluxReduxModel,
     )
-    siglip_model: ModelIdentifierField = InputField(
-        description="The SigLIP model to use.",
-        title="SigLIP Model",
-        ui_type=UIType.SigLipModel,
-    )
 
     def invoke(self, context: InvocationContext) -> FluxReduxOutput:
         image = context.images.get_pil(self.image.image_name, "RGB")
@@ -80,7 +74,8 @@ def invoke(self, context: InvocationContext) -> FluxReduxOutput:
 
     @torch.no_grad()
     def _siglip_encode(self, context: InvocationContext, image: Image.Image) -> torch.Tensor:
-        with context.models.load(self.siglip_model).model_on_device() as (_, siglip_pipeline):
+        siglip_model_config = self._get_siglip_model(context)
+        with context.models.load(siglip_model_config.key).model_on_device() as (_, siglip_pipeline):
             assert isinstance(siglip_pipeline, SigLipPipeline)
             return siglip_pipeline.encode_image(
                 x=image, device=TorchDevice.choose_torch_device(), dtype=TorchDevice.choose_torch_dtype()
@@ -93,3 +88,32 @@ def _flux_redux_encode(self, context: InvocationContext, encoded_x: torch.Tensor
             dtype = next(flux_redux.parameters()).dtype
             encoded_x = encoded_x.to(dtype=dtype)
             return flux_redux(encoded_x)
+
+    def _get_siglip_model(self, context: InvocationContext) -> AnyModelConfig:
+        siglip_models = context.models.search_by_attrs(name=siglip.name, base=BaseModelType.Any, type=ModelType.SigLIP)
+
+        if not len(siglip_models) > 0:
+            context.logger.warning(
+                f"The SigLIP model required by FLUX Redux ({siglip.name}) is not installed. Downloading and installing now. This may take a while."
+            )
+
+            # TODO(psyche): Can the probe reliably determine the type of the model? Just hardcoding it bc I don't want to experiment now
+            config_overrides = ModelRecordChanges(name=siglip.name, type=ModelType.SigLIP)
+
+            # Queue the job
+            job = context._services.model_manager.install.heuristic_import(siglip.source, config=config_overrides)
+
+            # Wait for up to 10 minutes - model is ~3.5GB
+            context._services.model_manager.install.wait_for_job(job, timeout=600)
+
+            siglip_models = context.models.search_by_attrs(
+                name=siglip.name,
+                base=BaseModelType.Any,
+                type=ModelType.SigLIP,
+            )
+
+            if len(siglip_models) == 0:
+                context.logger.error("Error while fetching SigLIP for FLUX Redux")
+                assert len(siglip_models) == 1
+
+        return siglip_models[0]

invokeai/backend/model_manager/starter_models.py

@@ -610,6 +610,7 @@ class StarterModelBundles(BaseModel):
     source="black-forest-labs/FLUX.1-Redux-dev::flux1-redux-dev.safetensors",
     description="FLUX Redux model (for image variation).",
     type=ModelType.FluxRedux,
+    dependencies=[siglip],
 )
 # endregion
 
@@ -717,7 +718,6 @@ class StarterModelBundles(BaseModel):
     scribble_sdxl,
     tile_sdxl,
     swinir,
-    flux_redux,
 ]
 
 flux_bundle: list[StarterModel] = [
@@ -730,7 +730,7 @@ class StarterModelBundles(BaseModel):
     ip_adapter_flux,
     flux_canny_control_lora,
     flux_depth_control_lora,
-    siglip,
+    flux_redux,
 ]
 
 STARTER_BUNDLES: dict[str, list[StarterModel]] = {

invokeai/frontend/web/public/locales/de.json

@@ -113,7 +113,8 @@
         "end": "Ende",
         "layout": "Layout",
         "board": "Ordner",
-        "combinatorial": "Kombinatorisch"
+        "combinatorial": "Kombinatorisch",
+        "saveChanges": "Änderungen speichern"
     },
     "gallery": {
         "galleryImageSize": "Bildgröße",
@@ -761,7 +762,16 @@
         "workflowDeleted": "Arbeitsablauf gelöscht",
         "errorCopied": "Fehler kopiert",
         "layerCopiedToClipboard": "Ebene in die Zwischenablage kopiert",
-        "sentToCanvas": "An Leinwand gesendet"
+        "sentToCanvas": "An Leinwand gesendet",
+        "problemDeletingWorkflow": "Problem beim Löschen des Arbeitsablaufs",
+        "uploadFailedInvalidUploadDesc_withCount_one": "Es darf maximal 1 PNG- oder JPEG-Bild sein.",
+        "uploadFailedInvalidUploadDesc_withCount_other": "Es dürfen maximal {{count}} PNG- oder JPEG-Bilder sein.",
+        "problemRetrievingWorkflow": "Problem beim Abrufen des Arbeitsablaufs",
+        "uploadFailedInvalidUploadDesc": "Müssen PNG- oder JPEG-Bilder sein.",
+        "pasteSuccess": "Eingefügt in {{destination}}",
+        "pasteFailed": "Einfügen fehlgeschlagen",
+        "unableToCopy": "Kopieren nicht möglich",
+        "unableToCopyDesc_theseSteps": "diese Schritte"
     },
     "accessibility": {
         "uploadImage": "Bild hochladen",
@@ -1314,7 +1324,8 @@
         "nodeName": "Knotenname",
         "description": "Beschreibung",
         "loadWorkflowDesc": "Arbeitsablauf laden?",
-        "loadWorkflowDesc2": "Ihr aktueller Arbeitsablauf enthält nicht gespeicherte Änderungen."
+        "loadWorkflowDesc2": "Ihr aktueller Arbeitsablauf enthält nicht gespeicherte Änderungen.",
+        "loadingTemplates": "Lade {{name}}"
     },
     "hrf": {
         "enableHrf": "Korrektur für hohe Auflösungen",

invokeai/frontend/web/public/locales/en.json

@@ -1741,6 +1741,8 @@
             "row": "Row",
             "column": "Column",
             "container": "Container",
+            "containerRowLayout": "Container (row layout)",
+            "containerColumnLayout": "Container (column layout)",
             "heading": "Heading",
             "text": "Text",
             "divider": "Divider",

invokeai/frontend/web/public/locales/fr.json

@@ -1771,7 +1771,6 @@
         "projectWorkflows": "Workflows du projet",
         "copyShareLink": "Copier le lien de partage",
         "chooseWorkflowFromLibrary": "Choisir le Workflow dans la Bibliothèque",
-        "uploadAndSaveWorkflow": "Importer dans la bibliothèque",
         "edit": "Modifer",
         "deleteWorkflow2": "Êtes-vous sûr de vouloir supprimer ce Workflow ? Cette action ne peut pas être annulé.",
         "download": "Télécharger",

invokeai/frontend/web/public/locales/it.json

@@ -109,7 +109,8 @@
         "board": "Bacheca",
         "layout": "Schema",
         "row": "Riga",
-        "column": "Colonna"
+        "column": "Colonna",
+        "saveChanges": "Salva modifiche"
     },
     "gallery": {
         "galleryImageSize": "Dimensione dell'immagine",
@@ -784,7 +785,7 @@
         "serverError": "Errore del Server",
         "connected": "Connesso al server",
         "canceled": "Elaborazione annullata",
-        "uploadFailedInvalidUploadDesc": "Devono essere immagini PNG o JPEG.",
+        "uploadFailedInvalidUploadDesc": "Devono essere immagini PNG, JPEG o WEBP.",
         "parameterSet": "Parametro richiamato",
         "parameterNotSet": "Parametro non richiamato",
         "problemCopyingImage": "Impossibile copiare l'immagine",
@@ -835,9 +836,9 @@
         "linkCopied": "Collegamento copiato",
         "addedToUncategorized": "Aggiunto alle risorse della bacheca $t(boards.uncategorized)",
         "imagesWillBeAddedTo": "Le immagini caricate verranno aggiunte alle risorse della bacheca {{boardName}}.",
-        "uploadFailedInvalidUploadDesc_withCount_one": "Devi caricare al massimo 1 immagine PNG o JPEG.",
-        "uploadFailedInvalidUploadDesc_withCount_many": "Devi caricare al massimo {{count}} immagini PNG o JPEG.",
-        "uploadFailedInvalidUploadDesc_withCount_other": "Devi caricare al massimo {{count}} immagini PNG o JPEG.",
+        "uploadFailedInvalidUploadDesc_withCount_one": "Devi caricare al massimo 1 immagine PNG, JPEG o WEBP.",
+        "uploadFailedInvalidUploadDesc_withCount_many": "Devi caricare al massimo {{count}} immagini PNG, JPEG o WEBP.",
+        "uploadFailedInvalidUploadDesc_withCount_other": "Devi caricare al massimo {{count}} immagini PNG, JPEG o WEBP.",
         "outOfMemoryErrorDescLocal": "Segui la nostra <LinkComponent>guida per bassa VRAM</LinkComponent> per ridurre gli OOM.",
         "pasteFailed": "Incolla non riuscita",
         "pasteSuccess": "Incollato su {{destination}}",
@@ -1704,7 +1705,7 @@
         "saveWorkflow": "Salva flusso di lavoro",
         "openWorkflow": "Apri flusso di lavoro",
         "clearWorkflowSearchFilter": "Cancella il filtro di ricerca del flusso di lavoro",
-        "workflowLibrary": "Libreria",
+        "workflowLibrary": "Libreria flussi di lavoro",
         "workflowSaved": "Flusso di lavoro salvato",
         "unnamedWorkflow": "Flusso di lavoro senza nome",
         "savingWorkflow": "Salvataggio del flusso di lavoro...",
@@ -1734,7 +1735,6 @@
         "userWorkflows": "Flussi di lavoro utente",
         "projectWorkflows": "Flussi di lavoro del progetto",
         "defaultWorkflows": "Flussi di lavoro predefiniti",
-        "uploadAndSaveWorkflow": "Carica nella libreria",
         "chooseWorkflowFromLibrary": "Scegli il flusso di lavoro dalla libreria",
         "deleteWorkflow2": "Vuoi davvero eliminare questo flusso di lavoro? Questa operazione non può essere annullata.",
         "edit": "Modifica",
@@ -1772,7 +1772,19 @@
             "container": "Contenitore",
             "text": "Testo",
             "numberInput": "Ingresso numerico"
-        }
+        },
+        "loadMore": "Carica altro",
+        "searchPlaceholder": "Cerca per nome, descrizione o etichetta",
+        "filterByTags": "Filtra per etichetta",
+        "shared": "Condiviso",
+        "browseWorkflows": "Sfoglia i flussi di lavoro",
+        "resetTags": "Reimposta le etichette",
+        "allLoaded": "Tutti i flussi di lavoro caricati",
+        "saveChanges": "Salva modifiche",
+        "yourWorkflows": "I tuoi flussi di lavoro",
+        "recentlyOpened": "Aperto di recente",
+        "workflowThumbnail": "Miniatura del flusso di lavoro",
+        "private": "Privato"
     },
     "accordions": {
         "compositing": {
@@ -2330,8 +2342,8 @@
         "watchRecentReleaseVideos": "Guarda i video su questa versione",
         "watchUiUpdatesOverview": "Guarda le novità dell'interfaccia",
         "items": [
-            "Editor del flusso di lavoro: nuovo generatore di moduli trascina-e-rilascia per una creazione più facile del flusso di lavoro.",
-            "Altri miglioramenti: messa in coda dei lotti più rapida, migliore ampliamento, selettore colore migliorato e nodi metadati."
+            "Gestione della memoria: nuova impostazione per gli utenti con GPU Nvidia per ridurre l'utilizzo della VRAM.",
+            "Prestazioni: continui miglioramenti alle prestazioni e alla reattività complessive dell'applicazione."
         ]
     },
     "system": {

invokeai/frontend/web/public/locales/ru.json

@@ -1566,7 +1566,6 @@
         "defaultWorkflows": "Стандартные рабочие процессы",
         "deleteWorkflow2": "Вы уверены, что хотите удалить этот рабочий процесс? Это нельзя отменить.",
         "chooseWorkflowFromLibrary": "Выбрать рабочий процесс из библиотеки",
-        "uploadAndSaveWorkflow": "Загрузить в библиотеку",
         "edit": "Редактировать",
         "download": "Скачать",
         "copyShareLink": "Скопировать ссылку на общий доступ",

invokeai/frontend/web/public/locales/vi.json

@@ -235,7 +235,8 @@
         "column": "Cột",
         "layout": "Bố Cục",
         "row": "Hàng",
-        "board": "Bảng"
+        "board": "Bảng",
+        "saveChanges": "Lưu Thay Đổi"
     },
     "prompt": {
         "addPromptTrigger": "Thêm Prompt Trigger",
@@ -766,7 +767,9 @@
         "urlUnauthorizedErrorMessage2": "Tìm hiểu thêm.",
         "urlForbidden": "Bạn không có quyền truy cập vào model này",
         "urlForbiddenErrorMessage": "Bạn có thể cần yêu cầu quyền truy cập từ trang web đang cung cấp model.",
-        "urlUnauthorizedErrorMessage": "Bạn có thể cần thiếp lập một token API để dùng được model này."
+        "urlUnauthorizedErrorMessage": "Bạn có thể cần thiếp lập một token API để dùng được model này.",
+        "fluxRedux": "FLUX Redux",
+        "sigLip": "SigLIP"
     },
     "metadata": {
         "guidance": "Hướng Dẫn",
@@ -979,7 +982,7 @@
         "unknownInput": "Đầu Vào Không Rõ: {{name}}",
         "validateConnections": "Xác Thực Kết Nối Và Đồ Thị",
         "workflowNotes": "Ghi Chú",
-        "workflowTags": "Thẻ Tên",
+        "workflowTags": "Nhãn",
         "editMode": "Chỉnh sửa trong Trình Biên Tập Workflow",
         "edit": "Chỉnh Sửa",
         "executionStateInProgress": "Đang Xử Lý",
@@ -2021,7 +2024,7 @@
         },
         "mergingLayers": "Đang gộp layer",
         "controlLayerEmptyState": "<UploadButton>Tải lên ảnh</UploadButton>, kéo thả ảnh từ <GalleryButton>thư viện</GalleryButton> vào layer này, hoặc vẽ trên canvas để bắt đầu.",
-        "referenceImageEmptyState": "<UploadButton>Tải lên ảnh</UploadButton> hoặc kéo thả ảnh từ <GalleryButton>thư viện</GalleryButton> vào layer này để bắt đầu.",
+        "referenceImageEmptyState": "<UploadButton>Tải lên hình ảnh</UploadButton>, kéo ảnh từ <GalleryButton>thư viện ảnh</GalleryButton> vào layer này, hoặc <PullBboxButton>kéo hộp giới hạn vào layer này</PullBboxButton> để bắt đầu.",
         "useImage": "Dùng Hình Ảnh",
         "resetCanvasLayers": "Khởi Động Lại Layer Canvas",
         "asRasterLayer": "Như $t(controlLayers.rasterLayer)",
@@ -2137,7 +2140,7 @@
     "toast": {
         "imageUploadFailed": "Tải Lên Ảnh Thất Bại",
         "layerCopiedToClipboard": "Sao Chép Layer Vào Clipboard",
-        "uploadFailedInvalidUploadDesc_withCount_other": "Tối đa là {{count}} ảnh PNG hoặc JPEG.",
+        "uploadFailedInvalidUploadDesc_withCount_other": "Tối đa là {{count}} ảnh PNG, JPEG hoặc WEBP.",
         "imageCopied": "Ảnh Đã Được Sao Chép",
         "sentToUpscale": "Chuyển Vào Upscale",
         "unableToLoadImage": "Không Thể Tải Hình Ảnh",
@@ -2149,7 +2152,7 @@
         "unableToLoadImageMetadata": "Không Thể Tải Metadata Của Ảnh",
         "workflowLoaded": "Workflow Đã Tải",
         "uploadFailed": "Tải Lên Thất Bại",
-        "uploadFailedInvalidUploadDesc": "Phải là ảnh PNG hoặc JPEG.",
+        "uploadFailedInvalidUploadDesc": "Phải là ảnh PNG, JPEG hoặc WEBP.",
         "serverError": "Lỗi Server",
         "addedToBoard": "Thêm vào tài nguyên của bảng {{name}}",
         "sessionRef": "Phiên: {{sessionId}}",
@@ -2252,11 +2255,10 @@
         "convertGraph": "Chuyển Đổi Đồ Thị",
         "saveWorkflowToProject": "Lưu Workflow Vào Dự Án",
         "workflowName": "Tên Workflow",
-        "workflowLibrary": "Thư Viện",
+        "workflowLibrary": "Thư Viện Workflow",
         "opened": "Ngày Mở",
         "deleteWorkflow": "Xoá Workflow",
         "workflowEditorMenu": "Menu Biên Tập Workflow",
-        "uploadAndSaveWorkflow": "Tải Lên Thư Viện",
         "openLibrary": "Mở Thư Viện",
         "builder": {
             "resetAllNodeFields": "Tải Lại Các Vùng Node",
@@ -2287,7 +2289,19 @@
             "heading": "Đầu Dòng",
             "text": "Văn Bản",
             "divider": "Gạch Chia"
-        }
+        },
+        "yourWorkflows": "Workflow Của Bạn",
+        "browseWorkflows": "Khám Phá Workflow",
+        "workflowThumbnail": "Ảnh Minh Họa Workflow",
+        "saveChanges": "Lưu Thay Đổi",
+        "allLoaded": "Đã Tải Tất Cả Workflow",
+        "shared": "Nhóm",
+        "searchPlaceholder": "Tìm theo tên, mô tả, hoặc nhãn",
+        "filterByTags": "Lọc Theo Nhãn",
+        "recentlyOpened": "Mở Gần Đây",
+        "private": "Cá Nhân",
+        "resetTags": "Khởi Động Lại Nhãn",
+        "loadMore": "Tải Thêm"
     },
     "upscaling": {
         "missingUpscaleInitialImage": "Thiếu ảnh dùng để upscale",
@@ -2322,8 +2336,8 @@
         "watchRecentReleaseVideos": "Xem Video Phát Hành Mới Nhất",
         "watchUiUpdatesOverview": "Xem Tổng Quan Về Những Cập Nhật Cho Giao Diện Người Dùng",
         "items": [
-            "Trình Biên Tập Workflow: trình tạo vùng nhập dưới dạng kéo thả nhằm tạo dựng workflow dễ dàng hơn.",
-            "Các nâng cấp khác: Xếp hàng tạo sinh theo nhóm nhanh hơn, upscale tốt hơn, trình chọn màu được cải thiện, và node chứa metadata."
+            "Trình Quản Lý Bộ Nhớ: Thiết lập mới cho người dùng với GPU Nvidia để giảm lượng VRAM sử dụng.",
+            "Hiệu suất: Các cải thiện tiếp theo nhằm gói gọn hiệu suất và khả năng phản hồi của ứng dụng."
         ]
     },
     "upsell": {

invokeai/frontend/web/public/locales/zh_CN.json

@@ -1629,7 +1629,6 @@
         "projectWorkflows": "项目工作流程",
         "copyShareLink": "复制分享链接",
         "chooseWorkflowFromLibrary": "从库中选择工作流程",
-        "uploadAndSaveWorkflow": "上传到库",
         "deleteWorkflow2": "您确定要删除此工作流程吗？此操作无法撤销。"
     },
     "accordions": {