Dacă primii ani nu au fost fără dificultăţi, odată cu numirea în fruntea ansamblului a lui Hans von Bülow, un muzician respectat, prieten cu Liszt, Wagner şi Brahms, începe o epocă a gloriei. După moartea acestuia, în 1895, director devine,se pare că la sfatul lui Liszt, Arthur Nikisch, un dirijor de patruzeci de ani care, în cele aproape trei decenii cât va conduce orchestra, va transforma filarmonica în cea mai prestigioasă orchestră din lume. În aceşti ani, soliştii invitaţi se numesc George Enescu (un singur concert în 1902), Arthur Rubinstein (în vârstă de 13 ani), Artur Schnabel, Pablo Casals, Fritz Kreisler, Serghei Rahmaninov, Jascha Heifetz (la numai 11 ani), iar repertoriul se lărgeşte, fiind incluse frecvent lucrări de Ceaikovski, Mahler, Grieg. În 1913, Arthur Nikisch înregistrează Simfonia a V-a de Beethoven, iar discul, cu un zgomot de fond care îl face dificil de ascultat, stă mărturie atât pentru stilul romantic al epocii, cu ciudate libertăţi de tempo, cât şi pentru energia care pare a-l anunţa pe Furtwängler.


Perioada următoare, 1922-1954, este dominată de figura lui Wilhelm Furtwängler, considerat cel mai important dirijor al secolului trecut. În 1934 îşi dă demisia din funcţia de director al orchestrei în urma scandalului provocat de alegerea sa de a interpreta o lucrare a lui Paul Hindemith, autor interzis în epocă, dar rămâne în Germania să dirijeze Filarmonica din Berlin. Înregistrările din timpul războiului par să reflecte disperarea prin care trecea Europa. O înregistrare a Simfoniei a IX-a de Beethoven, din 1942 (printre cei aflaţi în sală se număra şi Hitler), este, prin paroxism, isterie, violenţa nemaiîntâlnită, starea de transă, o imagine a coşmarurilor războiului surprins în muzică. În ianuarie 1944, sala de concerte este bombardată, iar orchestra începe să-şi ţină concertele în Titania Palast. După război, lui Furtwängler i se interzice să mai dirijeze, dar în urma unui proces de denazificare, în 1947 se întoarce în fruntea orchestrei pe care o va dirija până în 1954.

Tânărul şi aproape necunoscutul Sergiu Celibidache este numit, la doar 34 de ani, în fruntea orchestrei imediat după război, când, pentru doi ani, Furtwängler este obligat să se retragă, şi rămâne dirijor asociat până la moartea acestuia, în 1954, moment în care orchestra îl preferă pe Karajan. Cele treisprezece CD-uri editate de Audite cuprind toate înregistrările live cu Filarmonica din Berlin păstrate în arhivele radio.

Cu Herbert von Karajan, director între 1955 şi 1989, începe altă etapă în istoria  Orchestrei. Interpretările pierd din starea de transă mistică din era Furtwängler şi se îndreaptă spre teluric, dar Karajan reuşeşte în plus să creeze un sunet nou, păstos, compact, prin care orchestra poate fi identificată şi astăzi. Geniu al marketingului, Karajan îşi dă seama că piaţa discurilor a devenit esenţială în lumea muzicii, înregistrează câteva sute de discuri, zeci de concerte sunt filmate, apare pe copertele a numeroase reviste, vorbeşte despre colecţia de pulovere, despre pasiunea pentru avioane. În 1963 inaugurează noua sală, construită special pentru el. În lumea muzicală, Karajan devine un simbol al Germaniei, iar simfoniile de Beethoven înregistrate în anii ’60 sunt o mărturie a abordării sale telurice, virile, pline de energie.

După dispariţia dirijorului care a condus orchestra mai bine de trei decenii, este numit director Claudio Abbado, care, între 1989 şi 2002, va schimba ceva din moştenirea lăsată de Karajan. Este interesat să lărgească repertoriul orchestrei şi se îndreaptă către muzica contemporană, dând numeroase concerte cu lucrări experimentale. Mai relaxat decât Karajan, Abbado îşi invită numeroşi colegi să dirijeze orchestra. Chiar dacă recunoştea calitatea sunetului creat de Karajan, încearcă să-l transforme conferindu-i în primul rând mai multă claritate. În 1990 orchestra face primul turneu în Israel, unde cântă împreună cu Filarmonica din Israel. Înspre finalul perioadei sale la Berlin se dedică din ce în ce mai mult simfoniilor lui Mahler, iar înregistrările live ale acestora sunt printre cele mai inspirate din întreaga discografie a acestui compozitor.

Sir Simon Rattle avea deja o carieră apreciată când a fost numit dirijor principal la Berlin, reputația sa datorându-se anilor în care a condus Orchestra Simfonică din Birmingham, ajunsă una dintre cele mai appreciate formaţii europene. Ca şi Abbado, a încercat să lărgească repertoriul cu multe lucrări contemporane şi, în plus, a reuşit să prezinte numeroase opusuri de muzică veche invitând dirijori renumiţi, precum Andrea Marcon, entru aceste evenimente. Sub directoratul lui, orchestra s-a constituit într-o fundaţie pentru ca deciziile să nu mai fie luate de politicieni, ci de muzicienii ansamblului. În 2008 sunt înfiinţate o casă de discuri a instituţiei şi Digital Concert Hall, care permite urmărirea live a concertelor Filarmonicii. În 2013 Sir Simon Rattle a anunţat că nu va mai dirija la Berlin decât până la finalul stagiunii 2017-2018.