Google står over for store udfordringer med AI-søgemaskiner

Google er blevet ringere og ringere de seneste år. Jeg skulle søge temmelig standard viden frem fornylig og blev chokeret over hvor ringe google rangordning er blevet. De første mange hits var deciderede spam sites der lignede (pre-chatgpt) autogenereret non-sense der tager ens spørgsmål og gentager det med forskellige sproglige variationer og tilføjer generiske ligegyldigheder. Disse sider har tilsyneladende mestret at komme til tops i Googles rangordning med fuldstændig crap content.

Derefter kom der en side (eller to) som var decideret kopi af materiale fra Stack overflow. Men disse sider var hvis jeg husker rigtigt *højere* rangordnet end stack overflow.

Og jeg er slet ikke kommet til de sædvanlige "andre spørger om" non-sense, og reklamer.

Google er blevet virkelig elendig de sidste par år.

IMO burde de gå tilbage "to the roots" og lave en super effektiv visning af resultater fra deres web-crawler, fjerne alt skramlet, og tilføje f.eks. "AI generated content" indikatorer og lignende.

Med det formål at Google bør excellere i at finde *IKKE* AI content. Hvis man vil have AI content står de andre firmaer på spring, og lur mig om ikke folk snart bliver trætte af generisk sludder fra LLMer.

For hver gang google bruger 10 personer på at udvikle en AI er det 100 der går med at indoktrinere den til kun at kunne svare ud fra Google's verdenssyn.

larsp (1) skrev:

og lur mig om ikke folk snart bliver trætte af generisk sludder fra LLMer.

Fornemmer jeg en vis skuffelse/realisme med hensyn til hvad en LLM kan?

:-)

#1

Med hensyn til Google så er der jo penge at tjene ved at få sider højt højt op i søgeresultater, så det er en evig krig mellem tvivlsomme web sider der forsøger at komme højt op for at tjene penge og Google der skal forsøge at få vist de mest relevante sider.

Og engang imellem får man virkeligt en masse crap links.

Kode eksempler fra tabnine.com er efter min mening typisk ubrugelige.

#1

Tør man spørge hvad du ledte efter?

Jeg tror folk drastisk overvurderer hvor langt AI er. De er blevet blæst omkuld af ChatGPT, men har ikke dykket nok ned i den til at finde dens fejl.

Det tog mig mindre end 5 min fra jeg prøvede den første gang til at opdage at den ret ofte fodrede mig med sludder. Den er imponerende, ja, men brugsscenarierne er mere begrænsede end folk tror - medmindre de naturligvis ukritisk tager alt hvad den skriver for gode varer :o)

Nu har jeg leget lidt med Bings nye AI-muligheder, og de imponerer mig ikke so far og har ikke ligefrem forbedret mine søgeresultater. Dette er selvfølgelig med det forbehold at dette kan ændre sig hurtigt (som så meget andet gør i den digitale verden), og jeg forstår godt Google er i panic-mode.

Men summa summarum, så tror jeg AI er lidt længere fra at være et reelt brugbart værktøj end mange folk går og tror lige pt. Hvis jeg skulle give en analogi, så er det at revolutionen er i gang, men folk allerede opfører sig som om at styret er væltet. Jeg føler ikke helt vi er der endnu. Men måske om et år eller to?

Athinira (6) skrev:

Jeg tror folk drastisk overvurderer hvor langt AI er. De er blevet blæst omkuld af ChatGPT, men har ikke dykket nok ned i den til at finde dens fejl.

Det tog mig mindre end 5 min fra jeg prøvede den første gang til at opdage at den ret ofte fodrede mig med sludder. Den er imponerende, ja, men brugsscenarierne er mere begrænsede end folk tror - medmindre de naturligvis ukritisk tager alt hvad den skriver for gode varer :o)

Nu har jeg leget lidt med Bings nye AI-muligheder, og de imponerer mig ikke so far og har ikke ligefrem forbedret mine søgeresultater. Dette er selvfølgelig med det forbehold at dette kan ændre sig hurtigt (som så meget andet gør i den digitale verden), og jeg forstår godt Google er i panic-mode.

Men summa summarum, så tror jeg AI er lidt længere fra at være et reelt brugbart værktøj end mange folk går og tror lige pt. Hvis jeg skulle give en analogi, så er det at revolutionen er i gang, men folk allerede opfører sig som om at styret er væltet. Jeg føler ikke helt vi er der endnu. Men måske om et år eller to?

Ja det er selvfølgelig den spæde start og er helt enig med at resultatet man får, kan sving meget og man tit skal bede den kondensere eller uddybe for at få den information man faktisk ønsker.
Men dette er jo sikkert noget som bliver bedre i forbindelse med at den lærer ens personlige præferencer.

T_A (7) skrev:

Ja det er selvfølgelig den spæde start og er helt enig med at resultatet man får, kan sving meget og man tit skal bede den kondensere eller uddybe for at få den information man faktisk ønsker.
Men dette er jo sikkert noget som bliver bedre i forbindelse med at den lærer ens personlige præferencer.

Jeg tror ikke helt du forstår hvad jeg mener. Lad mig give dig et eksempel.

Nu er jeg Formel 1 fan. Jeg førte en samtale med ChatGPT hvor jeg bad den forklare lidt om historien bag Formel 1, og gennemgå nogle af de senere år i sporten (2005 og frem). Jeg bad den gennemgå år efter år.

1)
På et tidspunkt kommer jeg så til 2010, hvor den forklarer mig nogle forskellige ting, men herunder også hævder at F1 køreren Lewis Hamilton sluttede sig til Mercedes i 2010. Dette fangede jeg med det samme, da Hamilton først sluttede sig til Mercedes i 2013, så jeg påpegede at dette er forkert, hvorefter den så krøb til korset og var sådan "Hovsa, det har du da ret i. Han sluttede sig først til Mercedes i 2013."

2)
Senere bad jeg den komme med nogle citater fra nogle kørere, hvorefter den opdigtede nogle citater. Da jeg bad den bruge rigtige citater i stedet for at opdigte nogle, meldte den med det samme at dette ikke var muligt, og postulerede at den kun kan give fiktive citater "som det er sandsynligt at en given kører kunne have udtalt" - men den kan ikke give rigtige citater.

De to ting herover lyder måske som bagateller. Men de fortæller hver især faktisk en del om hvordan sådan en AI fungerer: Nemlig at den ikke er andet end en "sandsynlighedsmaskine". Den skriver noget som sandsynligvis giver mening, og den rammer sikkert ofte også plet - men i realiteten ved den ikke hvad der er op og ned på verden. Hele udgangspunktet for dens viden er så at sige baseret på statistik. Den fortæller dig ting som statistisk sandsynligt er sande.

Dette gør den ikke ubrugelig. Men det er stadigvæk en stor kæp i hjulet for anvendeligheden af værktøjet. Fejlen med at forveksle år 2010 med 2013 for Hamiltons Mercedes-debut er jo fx en fejl vi normalt ville forvente af mennesker. Mennesker husker forkert hele tiden. Men hele pointen med computere er netop at de skal kunne kompensere for vores egne begrænsninger. Hvis vi ikke kan stole på hvad en AI siger (uanset årsagen), så betyder det at vi som mennesker skal bruge tid og energi på at kompensere for dens fejl - fx ved at fact-tjekke de ting den skriver. Selv hvis ChatGPT har ret i det den skriver 95% af tiden, så er de sidste 5% et stort problem. Vi skal nærmere op på en fact-præcision på 99.99% eller derover før det reelt kan ses som et værktøj til det formål.

Dette er derfor jeg også er kritisk for implementeringen i Bing lige pt. Man bruger typisk en søgemaskine til at finde ting hvor det er vigtigt at informationen er præcis og opdateret. Dette kan ingen AI levere lige pt. ChatGPT er begrænset til viden tom. september 2021 - og den "viden" (hvis man da overhovedet kan kalde den det) er fyldt med fejl.

Dette viser også at der ikke er tale om noget der bare minder om reel intelligens endnu. Jeg siger ikke værktøjet er ubrugeligt. Men der er lang vej endnu. Den er ikke på nogen måde nær så intelligent som den fremstår.

T_A (7) skrev:

Ja det er selvfølgelig den spæde start og er helt enig med at resultatet man får, kan sving meget og man tit skal bede den kondensere eller uddybe for at få den information man faktisk ønsker.
Men dette er jo sikkert noget som bliver bedre i forbindelse med at den lærer ens personlige præferencer.

Spørgsmålet er om teknologien bag ChatGPT nogensinde vil blive til et orakel eller om det i den henseende er en dead end.

Grundliggende er en LLM en model som forudsiger fremtidge ord ud fra fortidige ord. Den aner intet om substansen bag ved ordene. Den har bare lært hvilke ord som følger efter hvilke ord.

Den gør det i gigantisk skala. Den har 175 milliader parametre trænet på 570 GB text.

Hvis den fortsat kan forbedres ved at have flere parametere og træne på mere tekst, så kan den blive bedre i fremtiden.

Men vil den blive bedre ved at ti-doble alt?

Jeg er ikke sikker. Hvor meget god tekst er der? Træner man den på dårlig tekst så bliver den jo ringere. Og giver flere parametre automatisk bedre resultater? En elefant er vel ikke så meget klogere end en mus selvom den har en meget større hjerne?

Som ægte AI kan ChatGPT godt vise sig at være en blind vej.

Det betyder imidlertid ikke at den er værdiløs.

En tekst model vil muligvis aldrig være istand til at producere egentlig viden.

Men at omsætte tekst med rå viden til en tekst med en let forståelig præsentation er i høj grad et tekst problem, hvor værktøjet kan komme til sin ret.

Jeg vil være rimeligt optimistisk omkring at den kan hjælpe til at præsentere søgersultater i Bing og foreslå tekst i Word.

Jeg tror at MS har investeret fornuftigt.