Janus-Pro | Modèle T2I + I2T

Janus-Pro est un cadre autoregressif de pointe qui unifie la compréhension et la génération multimodales, en répondant aux principales limitations des approches précédentes. En découplant l'encodage visuel en voies séparées tout en maintenant une architecture de transformateur unique, Janus-Pro élimine les conflits entre la perception et la synthèse, améliorant à la fois la flexibilité et la performance dans l'IA multimodale. Avec Janus-Pro, les utilisateurs peuvent atteindre un équilibre plus raffiné entre la compréhension visuelle et la génération de contenu, faisant de Janus-Pro un choix supérieur pour les solutions d'IA de prochaine génération.

Au cœur du design de Janus-Pro se trouve sa stratégie d'encodage visuel à double voie innovante, qui permet à Janus-Pro de traiter les entrées visuelles plus efficacement sans sacrifier ses capacités génératives. Contrairement aux modèles unifiés traditionnels qui peinent à équilibrer compréhension et génération, Janus-Pro optimise les deux tâches en leur assignant des voies d'encodage dédiées tout en utilisant un transformateur unique et puissant pour le traitement. Cette approche permet à Janus-Pro de s'adapter sans effort à travers diverses tâches multimodales, de la synthèse d'image à la génération guidée par texte, renforçant la capacité de Janus-Pro à surpasser les cadres d'IA existants.

Un défi majeur dans les modèles multimodaux unifiés est de maintenir des performances élevées sur un large éventail de tâches sans nécessiter d'architectures spécifiques aux tâches. Janus-Pro surmonte cela avec son cadre simplifié mais hautement adaptable, surpassant les modèles unifiés précédents et égalant ou dépassant même les performances des solutions spécialisées. Avec sa simplicité, sa flexibilité et son efficacité supérieure, Janus-Pro représente un pas en avant significatif dans l'IA multimodale. Janus-Pro établit un nouveau standard pour les modèles unifiés de prochaine génération, prouvant que Janus-Pro est l'avenir de la technologie multimodale de l'IA.

1.1 Comment utiliser le flux de travail Janus-Pro ?

Vous pouvez utiliser le flux de travail Janus-Pro de 2 manières

1. Génération d'image Janus-Pro
2. Description d'image Janus-Pro (OCR, Légendes, Description...etc)

1.2 Génération d'image Janus-Pro

• Le Sampler de génération d'image Janus vous permet de saisir des invites.
• Vous pouvez utiliser le modèle Janus-Pro-1B ou Janus-Pro-7B.
• La génération d'image Janus-Pro est actuellement limitée à un ratio carré 1:1 (384*384 px).

Les modèles Janus-Pro seront téléchargés automatiquement dans votre machine cloud runcomfy lors de la première exécution. Cela peut prendre 2 à 5 minutes lors de la première mise en file d'attente. Lien des modèles -

• Janus-Pro-1B - https://huggingface.co/deepseek-ai/Janus-Pro-1B
• Janus-Pro-7B - https://huggingface.co/deepseek-ai/Janus-Pro-7B

Les modèles seront téléchargés dans : Comfyui/models/Janus-Pro

1.3 Description d'image Janus-Pro

• Cliquez et téléchargez une image dans le nœud de chargement d'image pour le traitement Janus-Pro.
• Vous pouvez effectuer : OCR, Légendes, Description détaillée en utilisant le nœud de compréhension d'image Janus-Pro. Il suffit de taper votre demande dans la boîte de type fournie dans le nœud.

Exemple de question : "Décrivez cette image en détail, où se trouve-t-elle, qu'est-ce qui est écrit dessus… etc."

Janus-Pro établit un nouveau standard pour l'IA multimodale en intégrant de manière transparente la compréhension et la génération au sein d'un cadre unifié. L'encodage à double voie innovant de Janus-Pro améliore la flexibilité, résolvant les conflits qui entravent les modèles traditionnels. En surpassant les architectures unifiées précédentes et en rivalisant avec les solutions spécifiques aux tâches, Janus-Pro ouvre la voie à des systèmes d'IA plus efficaces et polyvalents. En tant que cadre puissant et adaptable, Janus-Pro se situe à l'avant-garde de l'intelligence multimodale de prochaine génération, prouvant que Janus-Pro est l'avenir de l'IA multimodale.