Andri begon met voetballen bij Breiðablik. Bij deze club maakte hij zijn debuut op 29 september 2018, in een thuiswedstrijd tegen KA Akureyri (4–0 winst). Hier mocht hij tien minuten voor tijd invallen.[1] Het bleef bij deze ene wedstrijd, want in januari 2019 werd hij voor een half jaar gehuurd door Bologna.[2] Hij maakte genoeg indruk bij het jeugdteam onder 19 jaar (Primavera) dat de Italiaanse club hem in de daarop volgende zomer volledig overnam.[3] Andri speelde bij zijn nieuwe club zestien officiële wedstrijden in twee seizoenen, waarna FC Kopenhagen hem huurde.[4] Hij kwam tot acht officiële duels in de Deense hoofdstad en werd met zijn club Deens landskampioen.
In de zomer van 2022 huurde N.E.C. de IJslander voor een seizoen, waarbij de Nijmeegse club ook een optie tot koop op hem verkreeg.[5] Op 7 augustus 2022 maakte hij als invaller voor Dirk Proper zijn debuut voor N.E.C. in de met 0–1 verloren thuiswedstrijd tegen FC Twente. Op 8 februari 2023 maakte Baldursson in de bekerwedstrijd tegen Feyenoord (4–4, verloren na strafschoppen) zijn basisdebuut voor N.E.C. Op de laatste speelronde maakte hij tegen Fortuna Sittard (1–1) zijn basisdebuut in de Eredivisie door schorsingen van Dirk Proper en Lasse Schöne. Dit zou zijn laatste optreden voor N.E.C. zijn, aangezien de optie tot koop niet gelicht werd.[6] Hij speelde twaalf keer voor de Nijmeegse club. In het seizoen 2023/24 werd hij door Bologna verhuurd aan het Zweedse IF Elfsborg, uitkomend in de Allsvenskan.[7] In juli 2024 werd de verhuurperiode met een half jaar verlengd, tot het einde van het kalenderjaar.[8]