הרב יחיאל מיכל שלזינגר והרב ברוך קונשטט שניהם יוצאי גרמניה, יזמו יחד את הקמת הישיבה בשנת תרצ"ט. הישיבה הוקמה בעקבות ארועי ליל הבדולח, ויועדה לנוער ממערב אירופה ויוצאי גרמניה. כבר בשנתה הראשונה למדו בישיבה עשרות תלמידים. בין השנים תש"ו- תש"ח קלטה הישיבה בזרועות פתוחות נערים ניצולי שואה ממערב וממזרח אירופה.
לאחר פטירתו של הרב שזינגר מילא את מקומו בראשות הישיבה הרב שלמה זלמן אוירבך. ב'קול תורה' כיהן המשגיח הגדול הרב גדליה אייזמן. זכתה הישיבה גם והרב וולבה מסר בה שיעור קבוע במוצאי שבת במשך עשרים שנה. כיום לומדים בישיבה הגדולה כארבע מאות בחורים, לצד ישיבה קטנה לצעירים וכולל אברכים. הישיבה משמרת את המנהגים שהנהיגו המייסדים בייחוד בסדר התפילות.
את דרכה התחילה ישיבת 'קול תורה' בשכונת משכנות שאננים, משם נדדה לשכונת שערי חסד, ולרחוב אוסישקין עד שהגיע למבנה קבע בשכונת בית וגן בירושלים
