Stálý symfonický orchestr je vedle českého operního souboru nejvýznamnější ostravskou hudební aktivitou po první světové válce. V roce 1929 vzniká jako rozhlasové těleso a stává se důležitou součástí československého hudebního dění. U větších soudobých partitur (Bartók, Schönberg) byl spojován s orchestrem operním, často také v případě hostování významných dirigentských a skladatelských osobností, mezi něž patřili kupříkladu Igor F. Stravinskij,Sergej S. Prokofjev či Paul Hindemith. Posledně jmenovaný si Ostravu oblíbil a přijížděl opakovaně.

Za skutečný počátek existence stávajícího tělesa je třeba považovat až rok 1954, kdy vzniká Ostravský symfonický orchestr, který vedl Otakar Pařík. Od roku 1962 vystupuje pod názvem Státní filharmonie Ostrava (řídil ji tehdy Václav Jiráček) a v roce 1971 pod vedením dlouholetého šéfdirigenta Otakara Trhlíka získává svůj dnešní název Janáčkova filharmonie Ostrava.

V současné době je na interpretačním projevu orchestru nejvíce znát vliv dvou významných šéfdirigentů posledních let, jimiž byli Christian Arming a Theodore Kuchar, opomenout ovšem nelze ani Petra Vronského.

Umělecký profil orchestru formovali také významní hosté – V. Neumann, V. Smetáček, J. Bělohlávek, L. Pešek, Z. Mácal, Ch. Mackerras, S. Baudo, H. Rilling, J. Valčuha, M. Jurovskij a od sezóny 2020/2021 na jejich práci navazuje  současný šéfdirigent Vassily Sinaisky.

Ze sólistů zvučných jmen, kteří se s ostravskou filharmonií představili, jmenujme např. J. Suka, A. Navarru, J. Carrerase, P. Dominga, D. Peckovou E. Urbanovou, J. Calleju, P. Burchuladzeho nebo P. Šporcla, I. Ženatého, S. Babayana, D. Ishizaku, K. Gersteina, A. Ghindina a mnoho dalších.

Primát mezi českými orchestry má JFO v uvádění soudobých děl, která jsou často prováděna v české premiéře. Hlavní zásluhu zde má dirigent a skladatel Petr Kotík. Legendárním se stalo kupříkladu hostování JFO na Pražském jaru 1999 v obrovitých Stockhausenových Gruppen pro tři orchestry.