Léon Ashkenazi nait à Oran dans une famille de huit enfants et reçoit les prénoms de Yehouda Léon. Son père, David, est le dernier grand-rabbin d’Algérie. Sa mère, Rachel Touboul, est originaire d'Oran.Baignant dans une atmosphère multiculturelle, il se définit alors comme « Français d’Algérie de religion juive », priant en hébreu, fredonnant en arabe, parlant en français. Il étudie la tradition juive auprès de son père, de son grand-père maternel et de leurs disciples tout en suivant une scolarité laïque à l’École française. L’antisémitisme le touche peu : ses contacts avec les chrétiens sont peu fréquents et l’antisémitisme de l’islam ne s’exprime que dans la sphère religieuse ; les Juifs vivent dans des quartiers particuliers mais non séparés, comme au Maroc ou en Tunisie. Opposé à l’assimilation religieuse, il se considère cependant comme indubitablement français, membre à part entière de la nation française. Il intègre en 1940 les Éclaireurs israélites de France, alors que ce mouvement entre en résistance contre l’Allemagne nazie. Les « Français d’Algérie de religion juive » deviennent des « Juifs indigènes algériens » et le demeurent jusqu’à l’arrivée du général de Gaulle, alors que l’Afrique française a déjà été libérée. Le jeune Léon, qui a par ailleurs vu son nom en bonne place sur une liste d’otages, découvre alors une « faille dans [sa] relation à l’identité française ». Sa condition juive le privant d’intégrer l’armée régulière, il s’engage dans la Légion étrangère en 1943 en tant qu'aumônier militaire pour se retrouver interné au camp de Bedeau de 1943 à 1944, en raison de cette même origine. Il fait ensuite la guerre dans la Coloniale, un corps de métier de l’infanterie française. Parti avec l’Armée d'Afrique, il est blessé à Strasbourg quelques semaines avant la victoire et c’est en convalescence qu’il assiste à la fête de l’Armistice sur la CanebièreLe contingent de permissionnaires dont il fait partie retourne en Algérie mais il est dérouté sur Constantine parce qu’au même moment éclatent les premières révoltes nationales arabes.