希特勒是一个要从“意识形态上”消灭犹太人的“至高无上的激进派代表人物”。在战争暴发前，犹太人无疑就面临着威胁。希特勒在与他的地方长官和帝国专员的数次私下谈话中，具体地谈到了如何消灭犹太人。甚至在《我的奋斗》中也提到了对犹太人使用毒气。

1939年9月战争爆发后，特别是胜利占领波兰后，德国人实施的政策是把大批犹太人赶入犹太区和小城区，希望犹太人会在那里因疾病和营养不良而最终饿死。 截至1941年8月，每月有5500名犹太人死于华沙犹太人区。另外一个更大的犹太人区――维希法国所控马达加斯加岛，1940年夏天，希特勒曾经暂时考虑把这里辟为欧洲犹太人的最终目的地，如果东线战场告捷，大批犹太人将向这些地方奔赴死亡之程。

到1941年初，希特勒派党卫军谋杀小组进入集中营杀害犹太人和其他第三帝国认为不配活着的人 。“巴巴罗萨”行动中，这项政策应用于整个欧洲大陆，四个党卫军别动队跟随国防军进入苏联，目的是消灭那些“不合要求的人”，主要是犹太人、红军人民委员以及任何被认为可能成为德国战线后的游击队员的人。他们在六个月内用各种方法屠杀近100万人。

大约从1941年7月中旬到10月中旬之间，在“巴巴罗萨”行动之后，大规模屠杀苏联犹太人的行为愈演愈烈，希特勒决心杀死第三帝国能触及到的所有犹太人，无论他们对德国的战争是否有用。

从1941年10月起，欧洲的犹太人被禁止移居国外，德国的犹太人被驱逐出境。11月，波兰罗兹开始使用毒气车杀害犹太人，随后在切姆诺集中营也开始使用。 海德里希开创了党卫军使用这些移动毒气室的先河，这些毒气室有时被伪装成搬家货车。

1941年12月12日，希特勒对美国宣战次日，他向纳粹高级官员发表讲话，决心对犹太人开展大清洗。他说：“世界大战迫在眉睫，犹太人的灭绝是必然的结果。”政策也从看见犹太人立即就地处决，改为在专门为此特别改造的集中营里进行“最终解决”。

1942年5月，在被占波兰的卢布林市附近开设了索比堡营，6月，屠杀活动在波兰东北部的特雷布林卡开始，为了在从1942年初到1943年末不到两年的时间里消灭近200万波兰犹太人，纳粹动用了83000名像101预备警察营这样只负责枪决或遣送的部队人员。

这些部队的人员大部分都是汉堡市受人尊敬的中年工人和中产阶级市民，而不是纳粹分子，这群人变成大屠杀刽子手主要是由于来自同辈的压力、天性服从的本性及同志情谊，而不是政治热情。

经常也有人提到以下这种错误观点：大规模屠杀犹太人是德国在东线失利造成的结果，甚至是在珍珠港事件之后美国参战引起的，屠杀与这件事情同时发生，但并不是由此引起的。事实上，德国人不断地想方设法更快、更多地杀戮犹太人，使用齐克隆B毒气只是这一即兴过程的收山之作。

纳粹大屠杀曾发生在维尔纽斯附近的波涅里（55000人被杀）、科夫诺附近的第九堡垒（10000人）、基辅郊外的巴比雅山谷（33771人）、里加附近的伦布拉（38000人）、考那斯（30000人）和许多其他地方，人们通常是在受害人自己或苏军战俘挖的坑边被枪杀。