Bakom Svenska Israelsmissionens tillkomst finns två närbesläktade fenomen, nämligen den nyevangeliska väckelsen i Sverige och den internationella missionsväckelsen med rötter i tysk pietism och engelsk lågkyrklighet och med flera olika missionsprojekt i olika delar av världen ända sedan början av 1700-talet.
Mot 1800-talets slut tillkom föreställningar om ett tidens nära förestående slut med i fråga om missionen den sammanfattande satsen ”ärendet hastar”.
Svenska Israelsmissionen startade sin verksamhet i Stockholm med utgivande av ett provnummer av ”Missionstidning för Israel” 1874. 1875 startades vad som då kallades ”Missionsförening för Israel”. Tanken på att starta en judemission i Sverige hade sin bakgrund i Evangeliska Fosterlandsstiftelsens kontakter med norsk missionsväckelse, manifesterad i judemissionens sammanhang genom den missionskrets i Stavanger som skulle ge upphov till Den Norske Israelsmission 1844.
Två präster i svenska kyrkan, båda djupt engagerade i EFS, ledde verksamheten de första åren. Den ene var Svenska Missionsförbundets grundare (1878) Paul Peter Waldenström. Den andre var den idag helt bortglömde kyrkoherden i Dalby i Värmland August Lindström.
Bortsett från ett kort missionsförsök i Beirut med bibelöversättaren och psalmdiktaren Johan Erik Nyström som missionär, ägnade sig Svenska Israelsmissionen de första åren åt att driva mission i Sverige genom ett så kallat proselythem i Stockhom dit unga ”östjudar” välkomnades för hantverksutbildning och kristendomsundervisning.
Runt sekelskiftet 1900 och ett antal decennier framöver var Svenska Israelsmissionen verksam på många olika ställen där judar bodde i större mängd, som i Polen, Ungern, Ryssland, Rumänien, Österrike, Tjeckoslovakien, Frankrike (både Paris och Marseille) samt i Casablanca i Marocko och i New York i USA.
Sin viktigaste insats gjorde Svenska Israelsmissionen i Wien från 1920 och sex decennier framåt. Dels blev missionen verktyg för en dop- och nattvardsväckelse bland den österrikiska huvudstadens judar, dels räddade man i storleksordningen 3.000 judar, varav kanske hälften barn, undan nazisternas mordiska planer.
Efter hitlertidens fasor var Svenska Israelsmissionen ett av de judemissionssällskap som inledde en teologisk nyorientering från mission till dialog, framför allt genom sedermera direktorn Göte Hedenquist. Den teologiska nyorienteringen ledde också till namnbyte 1970. Det nya namnet blev Riksorganisationen Kyrkan och Judendomen.
1975 upphörde RKJ som självständig organisation och blev en avdelning inom Svenska Kyrkans Mission, en organisation som ju numera också är nedlagd.
1989 återstartades på ett privat initiativ Svenska Israelsmissionen i Göteorg, till en början under namnet Göteborgs Israelskrets och ägde bestånd fram till 2012.
Återstarten av Svenska Israelsmissionen ägde rum i nära samverkan med Den Norske Israelsmisjon. Sedan dess har Svenska Israelsmissionen samverkat med Förenade Israelsmissionen kring olika missionsprojekt i Israel.
När Svenska Israelsmissionen återstartades var det i uttrycklig opposition mot den glidning som skett från mission till dialog som begynt redan på 1940-talet och som nådde sin fulla omfattning när Svenska Kyrkans Mission övertog verksamheten.
Lars Edvardsson