Des moyens simples pour lire des fichiers volumineux sous Linux

Vous devez analyser un fichier journal, un fichier texte ou un ensemble de données volumineux ? Vous n’êtes certainement pas seul. La gestion de fichiers volumineux sous Linux peut être intimidante lorsque vous essayez d’afficher ou de gérer du contenu tout en gardant un œil sur les ressources de votre système. Heureusement, il existe différentes méthodes pour lire des fichiers volumineux sous Linux, notamment des utilitaires comme la lesscommande Vim et des techniques permettant de diviser le document en sections plus petites.

Cet article vous guidera à travers différentes techniques pour lire des fichiers volumineux ou extraire des informations spécifiques sur Linux à l’aide d’un éventail d’outils.

Utilisation de la commande Less

Vous recherchez un outil léger pour afficher le contenu de fichiers texte volumineux ou effectuer des recherches rapides ? La lesscommande est votre solution de prédilection.

L’un des aspects que je préfère dans cet utilitaire est que, contrairement aux éditeurs de texte standard, il vous permet d’afficher les fichiers une page à la fois sans charger le fichier entier en mémoire. Cela le rend remarquablement plus rapide, en particulier pour les fichiers volumineux, et simplifie le processus de révision de documents ou de journaux volumineux.

Pour l’utiliser, tapez simplement lesssuivi du nom du fichier :

Cette commande ouvrira l’ lessinterface, vous permettant de faire défiler le document ligne par ligne à l’aide des touches fléchées ou de rechercher des termes spécifiques en appuyant sur /suivi de votre terme de recherche.

Vous pouvez également utiliser lesspour lire les sorties d’autres commandes à l’aide d’un opérateur de pipeline. Par exemple, pour afficher et visualiser la sortie de la lscommande, vous utiliseriez :

La lesscommande propose également plusieurs options pour personnaliser ses fonctionnalités. Vous pouvez combiner ces options pour adapter son lessfonctionnement à vos besoins.

Par exemple, vous pouvez utiliser l’ -poption avec lesspour rechercher un terme spécifique :

Cette commande ouvre la sortie et passe directement à la première occurrence du mot sample .

Vous pouvez également afficher les numéros de ligne à côté du contenu du fichier à l’aide de l’ -Noption :

Fractionnement de fichiers à l’aide de la commande Split

Parfois, la meilleure façon de gérer un fichier volumineux est de le diviser en parties plus petites et plus faciles à gérer, en particulier lorsque vous souhaitez lire ou traiter le fichier en plusieurs parties. Par exemple, j’ai tendance à diviser les fichiers lorsque leur taille dépasse 1 Go ou contient plus de 100 millions de lignes.

Vous pouvez diviser les fichiers par taille ou par nombre de lignes. Pour les fichiers texte, il est généralement préférable de les diviser par lignes pour éviter de couper des mots ou des lignes en deux.

Par exemple, pour diviser un fichier en fonction d’un nombre spécifique de lignes, exécutez cette commande :

Dans ce cas, le fichier « samplefile.txt » est divisé en plusieurs parties, chacune composée de 10 000 lignes. Les fichiers résultants seront nommés « part_aa », « part_ab », etc. Vous pouvez désormais ouvrir et examiner des segments plus petits du fichier sans vous soucier d’une utilisation excessive de la mémoire ou d’une baisse des performances du système.

Si vous souhaitez diviser des fichiers volumineux en fonction de leur taille, par exemple 100 Mo, vous pouvez exécuter cette commande :

Utilisation de Midnight Commander

Midnight Commander (MC) est un gestionnaire de fichiers textuel à double panneau qui offre une interface visuelle conviviale pour naviguer dans les fichiers et les répertoires.

MC vous permet de visualiser les fichiers directement dans son interface, ce qui vous permet de parcourir rapidement de grands journaux ou ensembles de données sans charger l’intégralité du document en mémoire. J’apprécie la fluidité et l’efficacité avec lesquelles MC vous permet de parcourir de grands fichiers.

Pour installer MC, exécutez simplement :

Lancez-le en l’exécutant mcdans le terminal. Une fois à l’intérieur, accédez au fichier volumineux que vous souhaitez lire et explorez son contenu.

Utilisation de Klogg

Klogg est un visualiseur de journaux rapide et open source basé sur une interface graphique qui peut traiter efficacement des fichiers volumineux. Contrairement aux éditeurs standard qui chargent l’intégralité du fichier en mémoire, Klogg ne lit que les parties du fichier selon les besoins, minimisant ainsi l’utilisation de la mémoire.

Klogg fournit également des capacités de filtrage et de recherche en temps réel, ce qui permet de trouver facilement du contenu spécifique sans défilement excessif.

Avant d’installer Klogg, vous devez créer le répertoire « /etc/apt/keyrings » et y ajouter la clé GPG. La clé GPG est essentielle pour valider le dépôt de paquets Klogg.

Pour créer le répertoire, exécutez :

Ajoutez la clé GPG avec la commande suivante :

Ensuite, ajoutez le référentiel Klogg à votre système avec la commande curl :

Mettez à jour votre liste de colis avec :

Enfin, vous pouvez installer Klogg en utilisant cette commande :

Une fois installé, ouvrez simplement le fichier via l’interface de Klogg et utilisez ses fonctionnalités intégrées pour rechercher et naviguer dans le contenu du fichier.

Lecture de fichiers volumineux à l’aide d’un éditeur de texte

Alors que de nombreux éditeurs de texte ont du mal à gérer des fichiers volumineux, des éditeurs comme Vim et Emacs gèrent les fichiers plus volumineux plus efficacement que les éditeurs standards tels que Nano ou Gedit.

Par exemple, les fonctionnalités de Vim vous permettent de naviguer dans le fichier et de rechercher des termes rapidement sans avoir à charger l’intégralité du contenu en mémoire en une seule fois. Notez cependant que les recherches sont limitées aux sections du fichier qui ont déjà été chargées.

Pour ouvrir un fichier dans Vim, exécutez :

Recherche dans un fichier avec la commande Grep

Si vous cherchez des informations spécifiques dans un fichier volumineux, utilisez la grepcommande. Cet outil puissant vous permet de rechercher dans les fichiers et d’afficher uniquement les lignes correspondant à votre requête.

Lorsque vous transférez les sorties de commande dans less, n’oubliez pas que ce n’est que temporaire : la sortie est perdue une fois que vous quittez less. Pour conserver la sortie pour une visualisation ultérieure, redirigez-la vers un fichier et ouvrez-la avec un outil de ligne de commande tel que less.

Par exemple, pour filtrer chaque ligne contenant le mot « ERREUR » d’un fichier volumineux, vous exécuteriez :

Vous pouvez affiner votre recherche avec des options supplémentaires, telles que ignorer la sensibilité à la casse ( grep -i) ou rechercher uniquement des mots entiers ( grep -w).

Redirection de la sortie vers un fichier

Si vous souhaitez enregistrer des résultats de recherche spécifiques pour une révision ultérieure, vous pouvez rediriger la sortie de vos commandes vers un nouveau fichier.

Par exemple, recherchez des lignes à l’aide de la grepcommande et enregistrez-les dans un nouveau fichier :

L’ >opérateur crée un nouveau fichier ou écrase un fichier existant à chaque fois. Pour ajouter des données à un fichier déjà existant, utilisez >>plutôt que >.

Utilisation des commandes Head et Tail

Lorsque vous travaillez avec des fichiers volumineux sous Linux, vous n’avez peut-être besoin d’afficher que le début ou la fin d’un fichier. C’est là que les commandes headet tailentrent en jeu.

Pour afficher les 20 premières lignes d’un fichier, utilisez :

De même, pour afficher les 20 dernières lignes, exécutez :

Dans les deux cas, -n 20indiquez que vous souhaitez uniquement voir les 20 premières ou dernières lignes. Vous pouvez ajuster ce nombre pour afficher plus ou moins de lignes selon vos besoins, les deux commandes affichant par défaut 10 lignes.

La combinaison de tailet headpeut vous aider à naviguer dans une section spécifique d’un fichier. Pour afficher les lignes 10 à 14 d’un fichier de 100 lignes, calculez la ligne de départ à partir de la fin en soustrayant la ligne de départ moins une du nombre total de lignes (100 – 9 = 91). Exécutez la commande suivante :

Cela affichera les lignes 10 à 14. Vous pouvez vérifier le résultat par rapport à ce que vous voyez avec less.

Pour mettre à jour en continu des fichiers, tels que les fichiers journaux, vous pouvez utiliser tail -fpour surveiller les modifications en temps réel.

Conclusion

Que vous analysiez des journaux, travailliez avec des ensembles de données ou lisiez simplement un fichier texte volumineux, ces stratégies vous aideront à simplifier considérablement le processus. Vous pouvez également explorer des techniques supplémentaires pour rechercher des fichiers volumineux sous Linux et les transférer via le terminal.

Crédit image : Unsplash . Toutes les modifications et captures d’écran par Haroon Javed.

Source