IBM har skabt en ny metode til at arbejde med store datasæt, der skal bruges til at træne maskinlærigs-algoritmer. Algoritmen hedder Duality-gap based Heterogeneous Learning (DuHL) og er i stand til gennemgå 30GB pr. minut, hvilket er 10 gange bedre end tidligere metoder.
GPU’er kan normalt ikke bruges til vise simuleringer af maskinlærings-modeller på grund af deres begrænsede hukommelse. Det problem kan løses ved at flytte data i små bider, men det er en dyr løsning at flytte så mange data frem og tilbage fra GPU’en.
IBM’s nye algoritme løser dette problem ved at finde den mindre mængde data, der er mest vigtig for trænings-algoritmen. Derfor kunne IBM teste algoritmen på en Nvidia Quadro M4000 med 8GB GDDR5 hukommelse og opnå mange gange hurtigere maskinlæring.