Sur le même principe que Kirikou et les Bêtes sauvages, Kirikou et les Hommes et les Femmes regroupe cinq aventures de Kirikou enfant indépendantes les unes des autres et racontées par le grand-père de Kirikou^[2]. Ces aventures se déroulent pendant les événements de Kirikou et la Sorcière, au temps où le village est toujours terrorisé par la sorcière Karaba et ses fétiches animés. Tandis que Kirikou et les Bêtes sauvages mettait en avant des animaux, Kirikou et les Hommes et les Femmes se concentre sur les relations des villageois entre eux ou avec les étrangers de passage.

Dans la première histoire, une villageoise, la Femme forte, a vu le toit de sa case brûlé par les fétiches de Karaba (l'événement est montré dans Kirikou et la Sorcière). L'oncle de Kirikou, aidé par les villageoises, se charge de le réparer, mais les fétiches de Karaba le lui interdisent. La Femme forte trouve refuge chez Kirikou et sa mère, mais ses ronflements les empêchent de dormir : ils finissent par aller terminer leur nuit à la belle étoile. Le lendemain, la saison des pluies commence et le vent endommage les toits de plusieurs maisons, y compris la case de Karaba. Kirikou a alors l'idée de passer un marché avec la sorcière en proposant que les villageois réparent son toit en échange de l'autorisation de réparer le toit de la case de la Femme forte. Karaba accepte, pensant capturer à cette occasion l'oncle de Kirikou, mais les villageois simulent un accident afin qu'il n'ait pas à venir jusqu'à la case de la sorcière, et seules les femmes s'occupent de la réparation. Une fois la case de Karaba réparée, c'est au tour de celle de la Femme forte, qui retrouve enfin son foyer.

Dans la deuxième histoire, le vieux du village, connu pour ses récriminations permanentes mais aussi pour son grand savoir, disparaît. La nuit venue, Kirikou, incapable de dormir, part à sa recherche. En se cachant près de la case de Karaba et en imitant la voix de la sorcière, il parvient à faire travailler pour lui le Fétiche guetteur, qui repère le vieux assez loin du village, près des figuiers. Kirikou repasse chez lui pour prendre une gourde d'eau et des galettes, puis repart. Il trouve le vieux grimpé dans un arbre et menacé par un chacal affamé. Réfugié dans l'arbre voisin, Kirikou passe dans l'arbre du vieux et lui donne à boire et à manger. Arrive alors une panthère noire qui tue le chacal et l'emporte : le vieux et Kirikou peuvent redescendre. Le vieux fait à son tour boire et manger Kirikou en lui montrant un arbre qui recueille de la rosée puis des buissons chargés de baies. Le vieux se réserve des baies alcoolisées mais finit par s'enivrer et se met à hurler des provocations contre Karaba que le fétiche guetteur entend. Alors que les fétiches arrivent pour capturer le vieux, Kirikou le sauve grâce à une ruse : le vieux se déshabille et met son chapeau et sa tunique sur un gros rocher que les fétiches emportent difficilement. Kirikou confectionne alors une tunique de feuilles au vieux et tous deux rentrent au village.

Dans la troisième histoire, Kirikou et les enfants, jouant à la source, repèrent une étrange créature bleue. Celle-ci se révèle être un jeune garçon habillé d'un vêtement bleu vif et doté d'une peau blanche. L'une des filles prend peur, croyant le garçon malade et contagieux, et va demander aux adultes de lui interdire l'entrée du village. Kirikou, qui n'a pas peur, interroge le garçon par signes et celui-ci mime son histoire : la caravane de chameaux avec laquelle il voyageait a été prise dans une tempête de sable et il s'est perdu. De retour au village avec le garçon, Kirikou se heurte à l'hostilité inquiète des villageois, mais la mère de Kirikou intervient : elle connaît le peuple dont fait partie le jeune garçon et parle un peu sa langue, le tamasheq. Il s'appelle Anigouran et est un Touareg de l'Aïr, au nord du village. La mère de Kirikou héberge le garçon tout en expliquant à Kirikou les us et coutumes touaregs. Puis tous deux font le voyage avec le garçon jusqu'à sa région natale. La petite fille qui avait eu peur du garçon ne le laisse finalement partir qu'à regret. Anigouran retrouve ses parents et tous trois récompensent Kirikou et sa mère par des cadeaux : un collier pour la mère et un chèche bleu pour Kirikou.

La quatrième histoire voit arriver au village une griotte, une femme griot qui va de village en village pour raconter des histoires. Reçue avec suspicion par certaines villageoises qui voient en elle une bouche à nourrir inutile, elle séduit l'assemblée la nuit venue lorsqu'elle commence à raconter l'histoire de Soundiata Keita. Mais la sorcière Karaba est jalouse de ne pas entendre l'histoire : elle envoie ses fétiches qui endorment tout le monde grâce à des fleurs soporifiques et capturent la griotte, que Karaba oblige à raconter la même histoire. Kirikou cherche un moyen de la délivrer, mais ne parvient qu'à se cacher près de la case de Karaba pour entendre la suite. Pressé par les villageois, il finit par s'improviser griot à son tour pour leur raconter la suite. Quelque temps après, les villageois voient revenir la griotte, qui a réussi à convaincre Karaba de la laisser partir mais refuse de révéler pourquoi : cela fait partie de l'histoire de Karaba, qui n'est pas encore terminée. Elle prédit que Kirikou deviendra griot à son tour une fois grand.

Dans la cinquième histoire, le village est accablé par l'harmattan, vent chaud et sec au bruit assourdissant. Le vent apporte tous les bruits du village à la case de Karaba. Dérangée par les vagissements des bébés fatigués par le vent, la sorcière ordonne aux villageois de les faire taire. Tous cherchent divers moyens sans succès. Kirikou a l'idée de jouer de la musique avec un brin d'herbe, puis il fabrique une flûte qui distrait un peu les bébés. Mais Karaba n'apprécie pas la musique limitée de la flûte rudimentaire : les fétiches viennent et brisent l'instrument. La mère de Kirikou encourage alors son fils à fabriquer une autre flûte. Elle l'emmène dans une grotte où Karaba ne pourra pas les entendre et lui montre la flûte de son père. Le père de Kirikou, excellent flûtiste, avait appris à sa femme à jouer de la flûte, mais les villageois voyaient d'un mauvais œil qu'une femme en joue. La mère apprend alors à Kirikou à fabriquer une meilleure flûte et à mieux en jouer. De retour, Kirikou, accompagné de sa mère qui brave le qu'en-dira-t-on, jouent de la flûte ; les villageois se joignent à eux avec divers instruments improvisés et calment les bébés. Tous ont la surprise de voir arriver les fétiches qui demandent qu'on joue plus fort, et Karaba elle-même finit par joindre sa voix à la musique, en un concert que tous croyaient impossible.