Édesapja Tirolból érkezett Erdélybe, anyja pedig az erdélyi szászok fővárosában, Brassóban élt. Koller Károly a nem messze lévő Nagyszebenben látta meg a napvilágot 1838. január 28-án. Alsóbb iskoláit is itt végezte, majd 1856-tól a bécsi Politechnikum hallgatója. 1857-től ugyanitt kezdett festészetet tanulni a helyi Művészeti Akadémián, de mindössze egy év elméleti képzést tudhatott maga mögött. Később autodidakta módon, a gyakorlatban képezte magát a festészet terén. A bécsi iskola volt az a hely, ahol megismerkedett a fényképészettel, tanára Martens Ede révén.
Mindössze 21 éves, amikor rajztanári állást kap a besztercei gimnáziumban. Az ekkoriban még igencsak ritkaságnak számító fotográfiát a tanítás mellett hobbiként űzte. Nem volt azonban egyedi dolog, hogy „rokonszakma” képviselője állt fotósnak. A korszak fényképészei jellemzően a művészek és vegyészek (pl. gyógyszerészek) köréből kerültek ki.
1860. május 7-én feleségül vette Lina Máriát, akitől két fia és három lánya született: Tivadar, Norbert (később mindketten gyógyszerészek), Selma, Olga és Hilda.
Hobbija 1861-ben válik komolyabb foglalatossággá, amikor egy kis önálló műtermet nyit, de ekkor még csak mellékállást jelent számára. Szellemi mentora a korábban ugyancsak nagyszebeni rajztanár, Glatz Tivadar volt, aki ez idő tájt már ismert festőművész és fényképész is volt. Együtt több alkalommal járják vidéket és többek között néprajzi tárgyú felvételeket készítenek. A paraszti élet megörökítése gyerekcipőben járt még az 1860-as években. Többségében műteremben készült beállított, népviseletbe öltöztetett embereket fotóztak. Glatz és Koller újszerűsége abban állt, hogy képeiken szabadban készült, nem beállított életszerű jeleneteket is megörökítettek. 1862-ben közös fotóalbumot adtak ki, Erdélyi képek címmel. Glatz 1871-ben hunyt el, Koller pedig – felhagyva tanári állásával – átvette műhelyét. A festésről azonban nem mondott le.
Kedvelt fotográfiai eljárása a chromotipia volt, mely egyfajta térbeli hatást életre hívó megjelenítési mód, nem pedig felvételi módszer volt. A térérzetet üveglap mögé helyezett, egy vagy több rétegű, színezett fényképpel érték el. Lassú, munkaigényes és drága előállítása miatt főleg a Kollerhez hasonló művészvilágból jött fotósok alkalmazták. A szakirodalom szerint „gyakran szerepelt a szakfényképészek kiállításán a fényképész tudásának fokmérőjeként”.
Koller 1871-ben Demjén László kolozsvári könyvkereskedőnél állította ki színezett fotóit. Az eljárás tartósságáról némi szakmai vita támadt Koller és Veress Ferenc (fényképész és feltaláló) között, mely helyi sajtótörténeti jelentőségű.
Vastagh György festő és fotográfus, a helyi Magyar Polgár c. lapban így állt ki Koller mellett: „Pár hét óta Demjén László úr könyvkereskedésében, Koller tanár úrtól néhány kitűnő chromo-photographia van kiállítva, melyek minden tekintetben művészi kivitelűek, s olyan kitűnő ízlés-sel vannak színezve, hogy e téren nemcsak nálunk, de külföldön is ritkítják párúkat. Akadnak azonban olyan dilettáns bírálók is, akik azt hiszik a chromophotographia színezete nem tartós. E véleménnyel szemben ezennel bizonyítom, hogy hét-nyolc évvel ezelőtt ily nemű képeket magam is készítettem, s ezekből ma is több példányra tudok utalni, melyek egyenként bizonyságai lehetnek annak, hogy amaz állítás legkevésbé sem alapos. A chromophotographia 8 évvel ezelőtt korán sem állott azon a ponton, oly tökélyre vive, mint azt most Koller úrnál láttuk. „
Koller Károly 1872-ben Pestre költözött. A következő évben megrendezett bécsi világkiállításon nagy sikereket ért el színezett chromotipiáival és elnyerte a Császári és Királyi Udvari Fotográfus címet.
Borsos József, a kor ismert biedermeier festőművésze unszolására 1873-ban és elvállalja fényképészeti vállalkozásának vezetését. Borsos szintén festőből váltott át fotóra, és ismertsége révén a kor leghíresebb és legelőkelőbb műtermét birtokolta, melyet még 1861-ben nyitott. Igen drágán dolgozott, így főleg arisztokratákat és a korszak művészi elitjét fotózta. Ebben a műteremben tanult (tovább), az akkor már aktív fotósként működő Mai Manó is.
Koller is ebbe a közegbe csöppent, és kiváló érzékének köszönhetően nagyszerűen helytállt. Néhány év alatt neve a fővárosban is fogalommá vált. Megörökíthette például az idős Liszt Ferencet, a száműzetésben lévő Kossuth egy arcképéről pedig chromotipiát készíthetett, melyből aztán olajnyomatokat sokszorosítottak, és a nagy érdeklődésre való tekintettel árusítottak is. Kossuth kérése csak az volt, hogy minden eladott példányból egy forintot a honvéd menház javára utaljanak.
Az elit fényképezése mellett itt sem hagyott fel a néprajzi témájú felvételekkel. Műtermi, beállított képeit mesterséges mivoltuk ellenére is jól sikerültnek tartja a szakma. Ilyen például az itt készült Iskolába íratás című fénykép is. Néprajzi tárgyú felvételeit az Iparművészeti Múzeumnak adományozta.
1875-ben önállósodott, és saját műtermet nyitott a Hamincad utca 4. szám alatt. Ez a stúdió is nagy népszerűségre tett szert. Volt idő, amikor 30 segéddel dolgozott. Kuncsaftjai főként politikusok, művészek, nemesek, sőt a királyi család tagjai voltak, így például Mária Valéria főhercegnő, Józset főherceg és családja, Rodolf koronaherceg, és I. Ferenc József.
Az 1878-as párizsi világkiállításon is nagy sikerrel szerepelt. Munkásságáért itt ezüstéremmel jutalmazták.
Az 1880-as években már az újdonságnak számító platinanyomatot (platinotipia) is használta. Fotói 1885-től több alkalommal megjelentek a Vasárnapi Újságban, mely még halála után is közölt tőle felvételeket.
Kreilisheim György, Régi magyar fényképezés című, 1941-ben megjelent könyvében meglehetősen sötét képet fest a XIX. század végének hazai fotós ízlésvilágáról. Üdítő kivételként Koller nevét hozza fel az alábbi szavakkal: „Mi mást csinálhatnak a fényképészek, mint hogy tehetetlen dühükben kétségbevonják az amatőrképek értékét és egyre jobban kihangsúlyozzák azokat a fényképészeti segédeszközöket, amelyekkel az amatőrök nem rendelkeznek: a hosszas gyakorlatot kívánó retust és a díszleteket. Kijelentik, hogy retus nélkül „nem lehet arcképet készíteni” és, hogy ezt bebizonyítsák, arcképeiket túlretusálják. Konokul ragaszkodnak a díszletekhez és a teátrális pózokhoz. Vannak ugyan dicséretes kivételek; köztük a legelőkelőbb hely Koller Károlyt illeti meg, aki már a nyolcvanas években finoman művészi arcképeket csinál, de követői ebben az időben még nem akadnak. A század végén a legsötétebb ízléstelenség uralkodik a fényképészeti műtermekben.”
Viszonylag fiatalon és váratlanul érte a halál. 1889. november 25-én a Vadászkürt étteremben vacsora közben agyvérzést kapott, és a rákövetkezendő nap meghalt. Mindössze 51 évet élt.
Műtermét saját nevén üzemeltették egykori asszisztensei. A Koller Károly utódai műterem retusőre volt 1893-ban Rónai Dénes is.
