Multimodal AI in één minuut
Je uploadt een foto en stelt er een vraag over. Het systeem gebruikt de afbeelding samen met je tekst om een antwoord te maken. Een onleesbaar label blijft echter onleesbaar, en een verborgen onderdeel wordt niet zichtbaar door een uitgebreide uitleg. Vraag om onderscheid tussen wat te zien is, wat slechts aannemelijk lijkt en wat aanvullende informatie vereist.
Multimodal AI met een eenvoudig voorbeeld
Een installateur heeft een foto van een elektrisch verdeelbord en wil de zichtbare labels voor een verslag ordenen. Een geschikt systeem kan helpen met een beschrijving van de indeling of het overnemen van leesbare tekst. De vraag gaat dan over wat op de foto staat. Dat is iets anders dan vaststellen of de installatie veilig is of hoe onzichtbare bedrading is aangesloten.
Een rij onderdelen, leesbare opschriften en de globale plaats van elementen kunnen worden beschreven.
Kleine letters, reflecties, een schuine foto of overlappende onderdelen kunnen de herkenning verstoren.
Een foto toont geen spanning, meetresultaten, verborgen verbindingen of volledige installatiegeschiedenis.
Laat een vakbekwaam persoon relevante gegevens controleren. De afbeelding alleen is geen keuring.
Een goede opdracht luidt bijvoorbeeld: noteer de leesbare labels, behoud onduidelijke tekens als onzeker en doe geen uitspraak over elektrische veiligheid. Dat levert een bruikbare voorbereidende inventaris op. Een professioneel klinkende diagnose op basis van dezelfde foto zou veel verder gaan dan het bewijs. De grens zit in de beschikbare informatie, niet in de lengte van het antwoord.
Hetzelfde onderscheid helpt bij minder technische taken. Een foto van een verpakking kan productnaam en inhoud tonen, maar geen actuele winkelvoorraad. Een screenshot kan een foutmelding tonen, maar niet vanzelf de oorzaak in een verborgen systeem. Een vergaderopname bevat hoorbare woorden, maar een slecht verstaanbare naam moet niet zonder controle worden ingevuld.
Geef daarom doel en context mee. Wil je een korte beschrijving, een tabel met leesbare gegevens of vragen voor een vervolgcontrole? Deze vormen stellen verschillende eisen. Lever een detailfoto alleen wanneer deze werkelijk nodig is en koppel de detailuitsnede aan het juiste overzicht. Een losse uitsnede kan anders haar betekenis verliezen.
Technisch bekeken
Een multimodaal model of systeem zet verschillende invoertypen om in representaties die gezamenlijk verwerkt kunnen worden. Een beeld kan bijvoorbeeld via een beeldencoder of beeldonderdelen worden gerepresenteerd; tekst via tokens. De architectuur bepaalt hoe de informatie wordt gekoppeld. Er bestaat geen universele procedure waarbij ieder beeld simpelweg vooraf in één perfecte tekstbeschrijving verandert.
Een LLM kan onderdeel zijn van zo’n systeem. Sommige toepassingen combineren losse modellen voor spraakherkenning, beeldverwerking en tekstgeneratie. Andere zijn op meerdere informatietypen gezamenlijk getraind. Van buiten kan de ervaring op elkaar lijken. Het label multimodaal zegt daarom nog niet welke onderdelen de fabrikant gebruikt of hoe fouten van de ene stap doorwerken naar de volgende.
| Combinatie | Mogelijke taak | Geen automatische belofte |
|---|---|---|
| Beeld en tekst naar tekst | Een afbeelding bespreken. | Dat het systeem ook afbeeldingen genereert. |
| Audio naar tekst | Een opname transcriberen. | Dat elke spreker en eigennaam correct wordt herkend. |
| Video en vraag naar antwoord | Een gebeurtenis in een fragment beschrijven. | Dat elk frame en ieder kort detail is verwerkt. |
| Document naar overzicht | Tekst, tabellen en figuren samenvatten. | Dat complexe opmaak foutloos wordt gelezen. |
Een PDF is een bestandsvorm, geen afzonderlijk zintuig. Een document kan machineleesbare tekst, scans, afbeeldingen en tabellen combineren. Een tekstextractie kan de leesvolgorde of eenheid verliezen. Een beeldroute kan juist moeite hebben met kleine letters. Vraag welk materiaal werkelijk is verwerkt voordat je concludeert dat een document volledig is begrepen.
Bij video kan een systeem geselecteerde frames en eventueel audio gebruiken. Een korte gebeurtenis tussen die frames kan dan ontbreken. Bij schermgebruik is het kunnen herkennen van een knop ook iets anders dan toestemming en technische toegang om die knop te bedienen. Waarnemen, redeneren over een mogelijke stap en een actie uitvoeren zijn aparte onderdelen.
De Context Window, resolutie, duur, bestandsgrootte en verwerkingsmethode kunnen grenzen stellen. Een groter bestand is niet automatisch een betere invoer. Een scherp detail van een relevant label kan nuttiger zijn dan een zeer grote foto met veel achtergrond. De juiste keuze hangt af van de taak en de mogelijkheden van het gebruikte product.
Beoordeel de kwaliteit per taak en modaliteit
Een systeem kan goed zijn in algemene afbeeldingsbeschrijvingen en minder goed in nauwkeurig tellen, kleine technische tekst of ruimtelijke verhoudingen. Een sterke tekstprestatie voorspelt niet automatisch dezelfde kwaliteit voor audio of video. Maak daarom een testset met de soort documenten en beelden die je werkelijk gebruikt, inclusief moeilijke maar normale gevallen.
Voor een catalogus kun je een productfoto naast de officiële artikelgegevens aanbieden. Laat zichtbare kenmerken en opgehaalde kenmerken gescheiden rapporteren. RAG kan relevante productinformatie toevoegen, maar de koppeling moet het juiste artikel betreffen. Twee bijna identieke verpakkingen kunnen een andere inhoud of variant hebben. Controle van identiteit voorkomt dat bronnen onterecht worden samengevoegd.
- Bepaal welke invoer en uitvoer de taak nodig heeft.
- Gebruik leesbaar materiaal en behoud het relevante overzicht.
- Vraag om zichtbare feiten, onzekerheden en ontbrekende gegevens apart.
- Controleer aantallen, labels en bronkoppelingen tegen het origineel.
- Laat conclusies met belangrijke gevolgen beoordelen door iemand met passende deskundigheid.
Ook visuele antwoorden kunnen hallucinations bevatten: het systeem noemt bijvoorbeeld een niet-zichtbaar detail omdat dat vaak bij een vergelijkbaar object hoort. Een extra afbeelding kan helpen, maar bewijst niet dat alle fouten verdwijnen. De waarde van Multimodal AI zit in een goed afgebakende taak en controleerbare ondersteuning, niet in de aanname dat meerdere modaliteiten automatisch meer zekerheid geven.