15 projets open source qui font discrètement fonctionner internet

L'internet avec lequel vous interagissez chaque jour — regarder des vidéos en streaming, envoyer des messages chiffrés, charger des pages web en quelques millisecondes — fonctionne sur une couche logicielle vaste et largement invisible que personne ne vend. Ce logiciel est open-source : son code est publiquement disponible, librement distribué et maintenu par des communautés de développeurs qui sont souvent des bénévoles non rémunérés, ou des ingénieurs dont les employeurs contribuent leur temps parce que les projets sont trop importants pour être laissés sans financement.

Il est difficile de surestimer l'ampleur de ce que cet écosystème soutient. La majorité des serveurs web du monde fonctionnent sur un logiciel open-source. Le chiffrement protégeant votre session bancaire a été conçu en public, non dans un laboratoire d'entreprise. Le système d'exploitation alimentant le serveur qui livre votre email est presque certainement Linux — qui, bien que l'un des projets logiciels les plus conséquents de l'histoire, a été démarré en 1991 par un étudiant en informatique finlandais publiant sur un groupe de discussion Usenet.

Ce qui rend cette histoire intéressante n'est pas seulement le logiciel lui-même, mais comment il est arrivé ici. L'infrastructure open-source n'a pas été construite par un plan coordonné. Elle s'est accumulée au fil des décennies de décisions individuelles par des ingénieurs qui voulaient résoudre un problème et partager la solution. Au fil du temps, ces solutions ont été adoptées, améliorées et intégrées si profondément dans l'architecture de l'internet que les remplacer serait extrêmement difficile — ce qui crée à la fois une résilience et une fragilité. Lorsqu'un projet open-source critique est bien maintenu, l'ensemble d'internet en bénéficie. Lorsqu'il ne l'est pas, comme l'a démontré une vulnérabilité en 2014 dans OpenSSL appelée Heartbleed, les conséquences peuvent être mondiales.

Les projets de cette liste ont été sélectionnés parce qu'ils opèrent sous la couche visible du web — pas les applications que les utilisateurs ouvrent, mais l'infrastructure dont ces applications dépendent. Certains sont des bases de données. Certains sont des serveurs web. Certains sont des langages de programmation qui sont devenus si universels qu'ils sont pratiquement des utilitaires. Quelques-uns sont des outils de construction ou des systèmes de conteneurs qui ont changé la façon dont le logiciel est déployé. Ensemble, ils forment un portrait de la façon dont l'internet fonctionne réellement : non comme une collection de produits finis, mais comme un empilement vivant et évolutif de code partagé.

Credit:   Lukas / Unsplash

Le système d'exploitation qui fait fonctionner la plupart d'internet a commencé comme un projet parallèle. En août 1991, Linus Torvalds, alors étudiant de 21 ans à l'Université d'Helsinki, a posté un message au groupe Usenet comp.os.minix annonçant qu'il travaillait sur un système d'exploitation gratuit — « juste un hobby », a-t-il écrit, « ne sera pas grand et professionnel comme gnu ». Cette clause de non-responsabilité a mal vieilli. Linux alimente désormais la grande majorité des serveurs web du monde, pratiquement tous les superordinateurs du monde, le système d'exploitation Android et une part substantielle de l'infrastructure cloud qui sous-tend la vie numérique moderne.

Linux est un noyau — le cœur d'un système d'exploitation qui gère les ressources matérielles et permet au logiciel de fonctionner. Ce n'est pas un système d'exploitation complet en soi ; des distributions comme Ubuntu, Debian, Red Hat et Fedora emballent le noyau Linux avec des logiciels supplémentaires pour le rendre utilisable. Mais le noyau est la fondation, et il s'est révélé durable au-delà de presque toutes les attentes raisonnables.

Les raisons de la domination de Linux dans les environnements serveur sont à la fois techniques et économiques. Il est gratuit à utiliser, ce qui importe à l'échelle de l'exploitation de milliers de serveurs. Il est stable et fiable sur de longues périodes de fonctionnement. Il est hautement configurable — les ingénieurs peuvent le réduire pour fonctionner sur de petits appareils embarqués ou l'ajuster pour des charges de travail de calcul haute performance. Et parce que son code source est ouvert, les organisations peuvent l'auditer, le corriger et apporter des améliorations, plutôt que d'attendre qu'un fournisseur résolve un problème.

Le processus de développement du noyau Linux est l'une des opérations d'ingénierie logicielle les plus sophistiquées au monde. Des milliers de développeurs contribuent du code, qui est examiné à travers un processus rigoureux de soumission de correctifs avant d'être fusionné. Torvalds lui-même continue de superviser le développement du noyau, bien que le projet implique désormais de grandes entreprises technologiques — Google $GOOGL, Intel $INTC, Red Hat, IBM $IBM et d'autres — dont les ingénieurs contribuent à des portions substantielles du code.

L'influence de Linux s'étend bien au-delà des serveurs. La plateforme Android, qui fonctionne sur la majorité des smartphones du monde, est construite sur le noyau Linux. Les Chromebooks exécutent un système d'exploitation basé sur Linux. L'électronique grand public, les routeurs, les téléviseurs intelligents et les systèmes de contrôle industriel utilisent fréquemment des distributions Linux embarquées. Le projet que Torvalds a décrit comme un passe-temps en 1991 est devenu le système d'exploitation le plus déployé de l'histoire.

Credit: Brett Sayles / Pexels 

Avant Nginx, avant les équilibreurs de charge cloud, avant l'infrastructure tentaculaire de l'hébergement web moderne, il y avait Apache. Le serveur HTTP d'Apache était le logiciel de serveur web dominant pendant la majeure partie de l'histoire commerciale d'Internet, et il reste largement utilisé aujourd'hui. Le comprendre signifie comprendre comment le web primitif a été construit.

Apache a émergé en 1995 d'une collection de correctifs appliqués au serveur NCSA HTTPd, l'un des premiers serveurs web jamais écrits. Un groupe de webmasters a commencé à échanger des modifications — « correctifs » — pour corriger des bugs et ajouter des fonctionnalités que le logiciel original n'avait pas. Le nom Apache est parfois dit dériver de « a patchy server », bien que la Apache Software Foundation n'ait pas officiellement confirmé cette étymologie. Quel que soit l'origine, le projet a rapidement grandi, et dès 1996, Apache était devenu le serveur web le plus populaire sur Internet, une position qu'il a tenue pendant plus de 20 ans.

L'architecture d'Apache est construite autour de modules — des composants discrets qui peuvent être activés ou désactivés pour ajouter des fonctionnalités. Un administrateur peut charger un module pour activer le chiffrement SSL, un autre pour gérer la réécriture d'URL, un autre pour prendre en charge le scripting côté serveur avec PHP. Ce design modulaire a rendu Apache extrêmement flexible, et il est devenu le choix par défaut pour exécuter des sites web dynamiques à l'époque où LAMP (Linux, Apache, MySQL, PHP) était le standard pour la plupart des applications web.

Le système de configuration du serveur, basé sur un fichier appelé httpd.conf et un concept appelé fichiers .htaccess, donnait aux webmasters individuels un contrôle significatif sur le comportement de leur serveur. Le fichier .htaccess en particulier est devenu omniprésent — les installations WordPress, par exemple, reposent dessus pour le routage des URL propres.

La part de marché d'Apache a fortement diminué après que Nginx a introduit une architecture basée sur les événements qui gérait la haute concurrence plus efficacement. Le modèle traditionnel d'Apache par processus par connexion consommait plus de mémoire sous forte charge. Mais Apache n'a jamais disparu — il est resté dominant dans les environnements d'hébergement partagé et est encore largement utilisé dans les configurations qui privilégient sa flexibilité et sa documentation mature par rapport au débit brut. La Apache Software Foundation, l'organisme à but non lucratif qui supervise le projet, est également devenue le foyer institutionnel de dizaines d'autres projets open-source, donnant à Apache une influence qui s'étend bien au-delà de son serveur HTTP.

Credit: panumas nikhomkhai / Pexels 

Nginx (prononcé "engine-x") a été créé pour résoudre un problème spécifique : au début des années 2000, les serveurs web basés sur l'architecture d'Apache avaient du mal à gérer des dizaines de milliers de connexions simultanées efficacement. Igor Sysoev, un ingénieur logiciel russe, a commencé à développer Nginx en 2002 pour y remédier et l'a publié publiquement en 2004. Le logiciel a introduit une architecture événementielle et asynchrone qui gérait les connexions simultanées avec beaucoup moins de mémoire que le modèle traditionnel processus-par-requête.

Le problème que Sysoev abordait avait un nom : le problème C10K, formulé en 1999 par l'ingénieur Dan Kegel, qui demandait comment un serveur web pouvait gérer 10 000 clients simultanés. Le modèle par défaut d'Apache attribuait à chaque connexion un thread ou un processus, ce qui devenait coûteux à grande échelle. Nginx utilisait plutôt une boucle d'événements monothread — similaire à la conception ultérieure de Node.js — capable de gérer de nombreuses connexions au sein d'un seul processus.

L'efficacité de Nginx en a fait le choix préféré des sites à fort trafic. Il est particulièrement bien adapté pour servir des fichiers statiques, agir comme un proxy inverse devant les serveurs d'application et gérer la terminaison SSL. Les grands sites web utilisent Nginx comme couche frontale de leur infrastructure, déchargeant le travail des serveurs d'application en ayant Nginx gérer les actifs statiques et acheminer les requêtes dynamiques vers les services backend.

Au-delà du simple service web, Nginx est devenu essentiel en tant que proxy inverse et répartiteur de charge. Dans un déploiement moderne typique, Nginx se situe devant un cluster de serveurs d'application — applications Node.js, Python ou Ruby — distribuant les requêtes entrantes et fournissant une interface cohérente au monde extérieur. Il gère la mise en file d'attente des connexions, le buffering des requêtes, et peut être configuré pour renvoyer des réponses mises en cache pour les requêtes courantes, réduisant considérablement la charge sur les serveurs d'application.

Nginx, Inc., la société fondée par Sysoev autour du projet, a été acquise par F5 Networks $FFIV en 2019 pour environ 670 millions de dollars. Le projet open source continue sous cette propriété, avec une version commerciale appelée Nginx Plus offrant des fonctionnalités supplémentaires. La version open source de base reste largement utilisée et activement développée. Selon la plupart des mesures d'utilisation des serveurs web, Nginx et Apache représentent ensemble une majorité substantielle des sites actifs, Nginx ayant dépassé Apache en part de marché parmi les sites à fort trafic.

Credit: panumas nikhomkhai / Pexels 

Les bases de données relationnelles sont les bêtes de somme de la couche de données de l'internet, et MySQL est devenu le choix par défaut pour une génération de développeurs web. Créé par les développeurs suédois et finlandais Michael Widenius et David Axmark en 1995, MySQL a offert une alternative rapide, fiable et gratuite aux systèmes de bases de données commerciaux comme Oracle $ORCL. Il est devenu le "M" de la pile LAMP et a alimenté une grande partie du contenu dynamique du web de l'époque.

Les priorités de conception de MySQL étaient pragmatiques : vitesse et simplicité plutôt que conformité stricte aux normes. Les premières versions de MySQL omettaient des fonctionnalités comme les procédures stockées, les déclencheurs et les contraintes de clé étrangère au profit de la performance brute des requêtes. Cela le rendait bien adapté aux applications web lourdes en lecture — forums en ligne, catalogues de commerce électronique, systèmes de gestion de contenu — où la capacité à récupérer des données rapidement était plus importante que l'intégrité transactionnelle complexe.

La base de données est devenue l'épine dorsale de certains des sites les plus visités d'Internet. Wikipedia fonctionne sur MariaDB, un fork de MySQL. Facebook $META a utilisé MySQL de manière intensive avant de développer des personnalisations et finalement Cassandra pour certaines charges de travail. WordPress, qui alimente une part importante de tous les sites web, utilise MySQL comme base de données par défaut. La relation entre WordPress et MySQL illustre à quel point cette base de données s'est profondément intégrée dans l'infrastructure du web : des millions de sites Web en dépendent sans que leurs opérateurs connaissent nécessairement son nom.

Sun Microsystems a acquis MySQL AB, la société derrière la base de données, en 2008 pour environ 1 milliard de dollars. Lorsque Oracle a acquis Sun en 2010, des inquiétudes se sont répandues dans la communauté open-source au sujet de l'avenir de MySQL sous une entreprise qui vendait également une base de données propriétaire concurrente. Ces préoccupations ont conduit à la création de MariaDB, un fork communautaire initié par Widenius lui-même, visant à garantir la poursuite d'une voie de développement entièrement ouverte.

MySQL reste activement développé sous Oracle et est toujours l'une des bases de données les plus déployées au monde. Sa longévité reflète l'énorme base installée construite pendant l'ère LAMP — les applications ne changent pas facilement de bases de données, et la performance et la compatibilité de MySQL ont continué de s'améliorer.

Credit: Fez Brook / Pexels 

PostgreSQL est la base de données que les développeurs choisissent lorsqu'ils ont besoin de l'accessibilité de MySQL et de la précision d'Oracle $ORCL. C'est une base de données relationnelle entièrement fonctionnelle qui est en développement continu depuis 1986, ce qui en fait l'un des projets open-source actifs les plus anciens. Sa réputation de conformité aux normes, d'intégrité des données et de support de fonctionnalités avancées en a fait le choix préféré pour les applications où la précision est tout aussi importante que la vitesse.

Le projet descend d'une base de données de recherche appelée POSTGRES développée à l'Université de Californie, Berkeley par Michael Stonebraker et ses étudiants. Lorsque le financement de Berkeley pour le projet a pris fin, un groupe de développeurs a réécrit le moteur de requête pour prendre en charge SQL et a publié le résultat sous le nom de PostgreSQL en 1996. Le développement s'est poursuivi sous l'égide d'une organisation à but non lucratif appelée le PostgreSQL Global Development Group, sans qu'aucune entreprise ne contrôle le projet.

Le jeu de fonctionnalités de PostgreSQL est étendu. Il prend en charge des types de données complexes — JSON, tableaux, données géométriques, recherche en texte intégral — que les bases de données relationnelles nécessitaient traditionnellement des extensions pour gérer. Il dispose d'un support robuste pour les transactions avec une conformité ACID appropriée, garantissant l'intégrité des données même lorsque les opérations échouent en cours de route. Son support des requêtes complexes, des fonctions de fenêtre et des expressions de table communes le rend capable de gérer des charges de travail analytiques que MySQL gérait historiquement mal.

Un aspect distinctif de l'architecture de PostgreSQL est son extensibilité. Les utilisateurs peuvent définir leurs propres types de données, opérateurs et types d'index. L'extension PostGIS ajoute des capacités complètes de système d'information géographique à PostgreSQL, faisant de lui la base de données sous-jacente à une grande partie des logiciels géospatiaux mondiaux. L'extension TimescaleDB transforme PostgreSQL en une base de données de séries temporelles. Cette extensibilité signifie que PostgreSQL est devenu la base de données spécialisée qui hérite de sa fiabilité tout en répondant à des besoins spécifiques au domaine.

La montée en popularité de PostgreSQL s'est accélérée de manière significative dans les années 2010 lorsque les fournisseurs de cloud — Amazon $AMZN, Google $GOOGL, Microsoft $MSFT — ont offert des services PostgreSQL gérés, éliminant le fardeau opérationnel de gérer la base de données vous-même. Pour les nouveaux projets, PostgreSQL est devenu le choix par défaut parmi les développeurs qui privilégient la fiabilité par rapport à la familiarité historique avec MySQL.

Credit: William Warby / Pexels 

Redis occupe une position inhabituelle dans le monde des bases de données : c'est un magasin de données qui réside entièrement en mémoire, conçu pour être rapide avant presque tout le reste. Créé par le développeur italien Salvatore Sanfilippo en 2009, Redis a commencé comme un moyen d'améliorer les performances d'un outil d'analyse Web en temps réel qu'il était en train de construire. L'insight clé était que pour certains types de données — compteurs, informations de session, tableaux de classement, caches — la latence de lecture depuis le disque était inutile. Si vous mettez les données en RAM, les opérations qui prendraient des millisecondes sur une base de données basée sur disque peuvent se produire en microsecondes.

Le nom signifie Remote Dictionary Server, ce qui décrit son modèle fondamental : un serveur qui stocke les données sous forme de paires clé-valeur. Mais Redis a étendu ce modèle avec un ensemble de structures de données — chaînes, listes, ensembles, ensembles triés, hachages, bitmaps, et plus — chacun avec son propre ensemble d'opérations. Un ensemble trié, par exemple, vous permet de stocker une collection d'éléments ordonnés par un score numérique, ce qui rend trivial la mise en œuvre d'un tableau de classement ou d'une file d'attente prioritaire.

Redis est devenu la solution quasi-universelle pour la mise en cache dans les applications Web. Lorsqu'un serveur Web doit afficher une page nécessitant plusieurs requêtes de base de données, il peut stocker le résultat dans Redis après la première demande. Les demandes suivantes récupèrent le résultat mis en cache en microsecondes plutôt que de demander à nouveau la base de données. Ce modèle — l'application parle d'abord à Redis, et revient à la base de données si le cache est froid — a réduit la charge de la base de données dans l'industrie et rendu les applications Web sensiblement plus réactives.

Au-delà de la mise en cache, Redis est devenu l'infrastructure standard pour la limitation de débit, le stockage de sessions, la messagerie pub/sub, et les pipelines de données en temps réel. Ses opérations atomiques — qui garantissent que certaines opérations se terminent sans interruption — l'ont rendu fiable pour les systèmes distribués qui doivent se coordonner sans conditions de course.

Redis Labs a effectué un changement de licence controversé en 2024, s'éloignant d'une licence open-source vers un modèle plus restrictif. Cela a poussé la Linux Foundation à forker le projet sous le nom de Valkey, qui a depuis attiré le soutien de grands fournisseurs de cloud. L'épisode illustre la relation complexe entre les projets open-source et les entités commerciales qui les développent souvent.

Credit: Markus Spiske / Pexels 

curl est l'un des logiciels les plus largement installés sur terre, et la plupart des gens qui l'utilisent ne le connaissent pas par son nom. C'est un outil en ligne de commande et une bibliothèque pour transférer des données sur les réseaux, et il est livré par défaut avec presque toutes les versions de Linux, macOS et Windows. Lorsqu'un développeur écrit un script qui récupère des données d'une API, ou lorsqu'un firmware intégré vérifie un serveur pour une mise à jour, curl est souvent l'outil qui effectue le travail réel.

Le projet a été créé par le développeur suédois Daniel Stenberg en 1998, commençant comme un simple outil pour télécharger les taux de change. Stenberg l'a maintenu depuis — une période d'implication continue extraordinaire qui représente l'un des projets à mainteneur unique les plus longs de l'histoire de l'open-source. Malgré son ubiquité, curl a fonctionné pendant une grande partie de son histoire avec un financement minimal, une situation qui a attiré l'attention lors de discussions plus larges sur la durabilité de l'open-source.

curl prend en charge une gamme énorme de protocoles : HTTP, HTTPS, FTP, SFTP, SCP, SMTP, et des dizaines d'autres. Cette largeur en a fait l'outil standard pour les transferts de réseau dans différents contextes. Son drapeau -v (verbose), qui montre chaque étape d'une transaction réseau, l'a rendu inestimable pour le débogage. Sa capacité à définir des en-têtes, envoyer des données POST, gérer les cookies, suivre les redirections, et s'authentifier avec divers schémas signifie qu'il peut interagir avec pratiquement n'importe quel service réseau.

La bibliothèque libcurl — la version intégrable de curl que les développeurs peuvent inclure dans leurs propres logiciels — a été incorporée dans des milliers d'applications. Elle est présente dans les routeurs, les imprimantes, les voitures, les dispositifs médicaux, et les satellites. Les avis de sécurité du projet curl reçoivent l'attention des fabricants de matériel qui expédient des dispositifs embarqués contenant la bibliothèque, car une vulnérabilité dans curl est une vulnérabilité dans tous ces dispositifs.

Stenberg a beaucoup écrit sur l'expérience de maintenir une infrastructure critique en tant qu'individu, y compris la précarité financière qui a caractérisé les deux premières décennies de curl. Sa situation est devenue un point de référence dans les discussions sur la manière dont l'écosystème open-source échoue à soutenir adéquatement les individus qui maintiennent ses composants les plus critiques.

Credit:   FlyD / Unsplash

OpenSSL est la bibliothèque qui chiffre l'internet. Lorsqu'un navigateur établit une connexion sécurisée à un site Web — l'icône de cadenas dans la barre d'adresse — les opérations cryptographiques sous-jacentes sont souvent effectuées par OpenSSL ou l'un de ses dérivés. Il implémente le protocole TLS (Transport Layer Security), qui protège les données en transit sur internet, et fournit un large ensemble de fonctions cryptographiques dont les applications dépendent pour des opérations sécurisées.

Le projet a commencé en 1998 comme un fork de SSLeay, une bibliothèque développée par Eric Young et Tim Hudson. Il est devenu la mise en œuvre open-source dominante des protocoles SSL/TLS et a été intégré dans les serveurs web, les bases de données, les logiciels VPN, les clients de messagerie et des milliers d'autres applications. Parce que le code cryptographique est difficile à écrire correctement et encore plus difficile à auditer, la communauté open-source s'est largement consolidée autour d'OpenSSL plutôt que chaque projet implémente le sien.

Cette consolidation a créé un point de défaillance unique. En avril 2014, des chercheurs ont révélé la vulnérabilité Heartbleed — un bug dans l'implémentation d'OpenSSL de l'extension de pulsation TLS qui permettait à un attaquant de lire la mémoire arbitraire d'un serveur exécutant une version vulnérable. Le défaut a affecté une proportion stupéfiante de serveurs HTTPS dans le monde. Il a nécessité des correctifs d'urgence de la part des fournisseurs de systèmes d'exploitation, des opérateurs de serveurs web, des autorités de certification et des fabricants de matériel simultanément. Les clés privées avaient potentiellement été exposées, ce qui signifie que les certificats SSL devaient être révoqués et réémis à grande échelle.

La révélation de Heartbleed a montré qu'OpenSSL, bien qu'étant l'une des pièces les plus critiques de l'infrastructure de sécurité sur Internet, était maintenu par une petite équipe avec un financement minimal. À l'époque, le projet comptait environ un employé à plein temps. L'Initiative Core Infrastructure, financée par de grandes entreprises technologiques, a été formée en réponse pour fournir un soutien financier aux projets de sécurité open-source critiques.

Depuis, OpenSSL a subi des améliorations de sécurité significatives, des audits de code et des modifications du processus de développement. Le projet reçoit maintenant plus de ressources qu'avant Heartbleed. Mais cet épisode reste la démonstration la plus claire de ce qui peut mal tourner lorsque l'Internet concentre une dépendance critique sur un projet open-source sous-financé.

Credit:   Chris Ried / Unsplash

Git a changé la façon dont le logiciel est fabriqué. Avant Git, les systèmes de contrôle de version — logiciels qui suivent les modifications du code au fil du temps — étaient centralisés : tous les développeurs partageaient un seul dépôt sur un serveur central. Si vous vouliez faire une branche, fusionner ou travailler hors ligne, les outils étaient lourds. Git a introduit un modèle distribué dans lequel chaque développeur dispose d'une copie complète du dépôt, permettant des flux de travail qui auraient été impraticables auparavant.

Linus Torvalds a créé Git en 2005 pour gérer le développement du noyau Linux après que l'outil de contrôle de version précédent de la communauté, BitKeeper, soit devenu indisponible. Torvalds a écrit la version initiale en environ deux semaines, avec un accent sur la vitesse et l'intégrité des données. Git utilise un modèle de stockage adressable par contenu — chaque fichier et commit est identifié par un hash cryptographique de son contenu — ce qui signifie que la corruption ou la falsification est détectable. Ce choix de conception était intentionnel : Torvalds voulait un système qui rendait impossible de modifier l'historique sans détection.

Le design distribué de Git signifiait que les opérations comme la création de branches et les fusions, qui avaient été pénibles dans les systèmes centralisés, devenaient rapides et peu coûteuses. Un développeur peut créer une branche en millisecondes, y travailler pendant des jours et la fusionner à nouveau avec un historique complet et auditable. Ce flux de travail a permis le modèle de collaboration open-source sur lequel des plateformes comme GitHub et GitLab ont ensuite construit des entreprises.

Les capacités de branchement et de fusion ont façonné non seulement des projets individuels mais aussi des méthodologies de développement entières. La stratégie de branchement "Git flow", publiée en 2010 par Vincent Driessen, a été largement adoptée par les équipes de développement logiciel. Les systèmes d'intégration continue, qui testent automatiquement le code lorsque des modifications sont proposées, reposent sur l'hypothèse que les demandes d'extraction de type Git existent. L'ensemble de la pratique moderne de développement logiciel de révision de code a émergé de workflows que Git a rendus pratiques.

GitHub, lancé en 2008, a rendu Git accessible à un public beaucoup plus large en fournissant une interface web, un suivi des problèmes et des fonctionnalités sociales. Microsoft $MSFT a acquis GitHub en 2018 pour 7,5 milliards de dollars, un prix qui reflète l'importance centrale que la plateforme était devenue pour le développement de logiciels au niveau mondial. Mais GitHub est un produit construit sur Git — le système de contrôle de version lui-même reste un projet open-source que Torvalds a initié et que la communauté a étendu.

Credit:  Tom Fisk / Pexels 

Kubernetes est un logiciel d'orchestration de conteneurs — un système pour déployer, mettre à l'échelle et gérer des applications empaquetées sous forme de conteneurs à travers des clusters de machines. Il a été développé par des ingénieurs de Google $GOOGL et publié en open-source en 2014, basé sur des systèmes internes de Google appelés Borg et Omega que l'entreprise avait utilisés pour gérer ses propres charges de travail pendant des années. La publication de Kubernetes a changé la manière dont l'industrie envisageait le déploiement de logiciels à grande échelle.

Un conteneur, au sens logiciel, est un package léger qui inclut une application et tout ce dont elle a besoin pour fonctionner — ses dépendances, sa configuration et son runtime — isolé du système hôte. Docker a popularisé les conteneurs et les a rendus pratiques pour les équipes de développement. Kubernetes a résolu le problème plus difficile de savoir quoi faire des conteneurs à grande échelle : comment en déployer 500, s'assurer qu'ils redémarrent en cas de panne, équilibrer la charge entre eux, déployer des mises à jour sans temps d'arrêt et gérer leur mise en réseau ?

Kubernetes a introduit un modèle déclaratif pour l'infrastructure : au lieu de spécifier les étapes pour déployer des logiciels, vous décrivez l'état souhaité — "Je veux trois instances de ce service en cours d'exécution" — et Kubernetes trouve comment atteindre et maintenir cet état. Si un nœud échoue, Kubernetes reprogramme les conteneurs affectés ailleurs. Si le trafic augmente, Kubernetes peut s'adapter automatiquement. Ce modèle a rendu les opérations plus fiables et a réduit le travail manuel de gestion des serveurs.

Le projet a été donné à la Cloud Native Computing Foundation en 2016, le retirant du contrôle direct de Google et en faisant un projet communautaire neutre vis-à-vis des fournisseurs. Cette décision de gouvernance était importante : elle a rassuré les concurrents et les utilisateurs qu'aucune entreprise ne pourrait dominer la direction du projet. Le CNCF est devenu le foyer d'un large écosystème d'outils cloud-native construits autour de Kubernetes.

Kubernetes a transformé le cloud computing en rendant les charges de travail plus portables. Parce que Kubernetes fonctionne de manière cohérente sur différents fournisseurs de cloud, les organisations ont acquis la capacité d'exécuter des applications sans être entièrement verrouillées dans la plateforme d'un seul fournisseur. Les trois principaux fournisseurs de cloud — Amazon $AMZN, Google et Microsoft $MSFT — proposent des services Kubernetes gérés, ce qui montre à quel point le projet est devenu central pour l'infrastructure cloud malgré son origine chez l'un des concurrents de ces fournisseurs.

Credit: Markus Winkler / Pexels

Debian est une distribution Linux — un système d'exploitation complet construit sur le noyau Linux avec un système de gestion de paquets, un ensemble de logiciels inclus et un ensemble de politiques régissant la manière dont le logiciel est maintenu. Ce n'est pas la distribution Linux la plus visible ; Ubuntu, qui est basé sur Debian, attire plus d'attention. Mais Debian est fondamental pour une grande partie de l'écosystème Linux et a été développé entièrement par des bénévoles depuis qu'Ian Murdock a annoncé le projet en 1993.

Ce qui distingue Debian, c'est son modèle de gouvernance et son engagement envers les principes du logiciel libre. Le projet est géré démocratiquement : un leader du projet Debian est élu chaque année par les développeurs du projet, et les décisions politiques importantes sont prises par vote. Le contrat social Debian et les directives du logiciel libre Debian, publiés en 1997, ont articulé des principes sur la liberté logicielle qui ont eu une influence à travers tout le mouvement open-source. La définition de l'open source, qui définit ce que signifie "open source", a été directement dérivée des directives du logiciel libre Debian.

Le système de gestion de paquets de Debian, construit autour d'APT (Advanced Package Tool) et du format de paquet .deb, a été l'un des premiers à résoudre le problème de l'"enfer des dépendances" — le défi d'installer un logiciel qui nécessite qu'un autre logiciel soit installé d'abord, ce qui à son tour nécessite un autre logiciel. La résolution des dépendances de Debian a rendu possible l'installation de logiciels complexes avec une seule commande, récupérant et installant automatiquement tout ce qui était nécessaire. Cette approche est devenue le modèle de gestion de paquets à travers les distributions Linux.

La distribution est également devenue la base d'un grand nombre de distributions dérivées. Ubuntu, qui est devenu la distribution Linux dominante pour les ordinateurs de bureau et le cloud, est directement dérivé de Debian. Raspberry Pi OS, utilisé sur le populaire ordinateur monocarte, est basé sur Debian. De nombreuses images de conteneurs Docker utilisent Debian ou des images de base dérivées de Debian.

Le cycle de publication de Debian est délibérément lent — de nouvelles versions stables sortent tous les deux ans, avec une longue période de gel pour les tests. Ce conservatisme en fait un choix fiable pour les serveurs où la stabilité importe plus que d'avoir les dernières versions de logiciels. La longévité et la stabilité du projet, maintenues entièrement par des bénévoles depuis trois décennies, est un accomplissement inhabituel dans le domaine du logiciel.

Credit: Nemuel Sereti / Pexels 

Python est un langage de programmation, mais il figure sur cette liste car il est devenu l'un des principaux langages de l'infrastructure Internet, de la science des données et de l'automatisation. Créé par le scientifique informatique néerlandais Guido van Rossum et publié pour la première fois en 1991, Python a été conçu avec la lisibilité comme objectif central — sa syntaxe impose l'indentation pour structurer le code, ce que van Rossum croyait rendre les programmes plus faciles à comprendre. Cette décision de conception a rendu Python suffisamment accessible pour se répandre bien au-delà de son public original.

Le rôle de Python dans l'infrastructure internet prend plusieurs formes. C'est le langage de Django et Flask, deux frameworks web qui alimentent des milliers d'applications web. L'infrastructure serveur d'Instagram a été construite sur Django. Dropbox a été construit en Python. Le langage est largement utilisé chez Google $GOOGL, Spotify $SPOT, Reddit $RDDT et YouTube. Quand les développeurs ont besoin d'écrire un script pour traiter des données, automatiser une tâche ou prototyper un service rapidement, Python est souvent le choix.

La domination du langage en science des données et apprentissage automatique est tout aussi significative. NumPy, Pandas, Scikit-learn, TensorFlow et PyTorch — les principales bibliothèques de calcul scientifique et d'apprentissage automatique — sont toutes des bibliothèques Python. L'émergence de l'apprentissage automatique en tant que technologie pratique dans les années 2010 a considérablement accéléré l'adoption de Python : les chercheurs et ingénieurs qui devaient travailler avec ces outils devaient travailler en Python. Au début des années 2020, Python était devenu le langage de programmation le plus utilisé au monde selon plusieurs mesures.

Python est géré par la Python Software Foundation, une organisation à but non lucratif qui détient la propriété intellectuelle du langage et soutient la communauté. Van Rossum a servi ce que la communauté appelait « Dictateur Bienveillant à Vie » — l'arbitre final des décisions de conception du langage — jusqu'à ce qu'il quitte ce rôle en 2018. La gouvernance du langage est maintenant gérée par un conseil directeur.

Une caractéristique de l'écosystème Python est le rôle central de PyPI (l'Index des Packages Python), un référentiel de plus de 500 000 packages que les développeurs Python peuvent installer avec une seule commande. PyPI est l'infrastructure de distribution de l'écosystème Python — une pièce critique de l'infrastructure internet qui, comme beaucoup d'autres, dépend significativement de l'effort bénévole et de financements relativement modestes.

Credit: Christina Morillo / Pexels 

Ansible est un logiciel d'automatisation pour la gestion de l'infrastructure informatique. Il a été créé par Michael DeHaan et publié pour la première fois en 2012, résolvant un problème devenu plus aigu à mesure que les organisations déployaient plus de serveurs : comment configurer des milliers de machines de manière cohérente, appliquer des mises à jour à toutes et documenter ce qui est installé où ? Ansible a abordé ce problème avec une philosophie de conception centrée sur la simplicité — il utilise un format lisible par l'homme appelé YAML pour décrire les états systèmes souhaités, ne nécessite aucun logiciel installé sur les machines gérées et se connecte en utilisant un SSH ordinaire.

Le design "sans agent" était un départ significatif par rapport aux outils de gestion de configuration précédents comme Puppet et Chef, qui nécessitaient l'installation et la maintenance de logiciels agents sur chaque machine gérée. L'approche sans agent d'Ansible a considérablement réduit les frais généraux opérationnels d'adoption — vous pouviez le pointer vers des serveurs existants sans les modifier d'abord. Cela l'a rendu accessible aux équipes qui trouvaient la complexité des outils basés sur les agents un obstacle.

Les playbooks d'Ansible — les fichiers YAML qui décrivent les tâches d'automatisation — sont devenus le moyen principal pour de nombreuses organisations de documenter leur infrastructure en tant que code. Plutôt que de s'appuyer sur la connaissance institutionnelle de la configuration des serveurs, les équipes pouvaient lire leurs playbooks Ansible pour comprendre exactement quel état était supposé être chaque système. Cette approche "infrastructure en tant que code" rendait les environnements reproductibles et audités d'une manière que la configuration manuelle ne pouvait jamais faire.

Red Hat a acquis Ansible en 2015 pour environ 150 millions de dollars, l'intégrant dans son portefeuille de produits d'entreprise tout en gardant le projet principal open-source. L'acquisition a reflété l'importance qu'avait pris l'automatisation pour les opérations informatiques des entreprises. Red Hat est ensuite devenu une partie d'IBM $IBM, qui l'a acquis en 2019.

Le rôle d'Ansible dans l'Internet moderne est largement invisible : il fonctionne en arrière-plan lors des déploiements, gardant les serveurs configurés correctement et permettant aux équipes de gérer des centaines ou des milliers de machines avec le même effort qui nécessitait autrefois un accès physique à chacune d'elles. Lorsqu'un fournisseur de cloud met à jour la configuration de ses serveurs, ou lorsqu'une entreprise déploie un correctif de sécurité sur l'ensemble de sa flotte, le mécanisme est souvent quelque chose comme Ansible fonctionnant discrètement en arrière-plan.

Credit: Tima Miroshnichenko / Pexels 

Elasticsearch est un moteur de recherche construit sur Apache Lucene, conçu pour rendre la recherche en texte intégral rapide, évolutive et accessible via une API simple. Il a été créé par Shay Banon, d'abord publié en 2010, et est depuis devenu le moteur de recherche le plus largement utilisé dans les applications d'entreprise et web. Lorsqu'une barre de recherche d'un site Web renvoie des résultats en millisecondes, ou lorsqu'un système de gestion de journaux permet aux ingénieurs de rechercher parmi des milliards d'entrées de journaux, Elasticsearch est souvent le moteur sous-jacent.

La conception du logiciel repose dès le départ sur une architecture distribuée. Un cluster Elasticsearch répartit les données sur plusieurs nœuds, gérant automatiquement la réplication et la répartition de la charge. Les requêtes sont traitées en parallèle sur des fragments, permettant des performances de recherche à des échelles que les bases de données à machine unique ne peuvent pas égaler. L'ajout de nœuds à un cluster augmente la capacité horizontalement — une conception qui s'est bien alignée avec les modèles d'infrastructure cloud devenus standards dans les années 2010.

Au-delà de la recherche, Elasticsearch est devenu la base de la pile ELK — Elasticsearch, Logstash (un outil de pipeline de données) et Kibana (une interface de visualisation). Cette combinaison est devenue la solution open-source dominante pour l'agrégation et l'analyse de journaux. Les opérateurs d'infrastructures web doivent collecter des journaux de centaines de services, les indexer pour une recherche rapide et visualiser les tendances pour résoudre les problèmes. La pile ELK offrait cette capacité avec une interface cohérente et un fort soutien de l'écosystème.

Elasticsearch est maintenu par Elastic, l'entreprise fondée par Banon. Comme Redis, Elastic a changé ses termes de licence en 2021, passant de la licence Apache à une licence plus restrictive proche du propriétaire, invoquant des préoccupations quant aux fournisseurs de cloud proposant Elasticsearch comme un service sans contribuer à son développement. Amazon $AMZN a répondu en créant OpenSearch, un fork de la dernière version d'Elasticsearch sous licence Apache, qui continue comme un projet open-source séparé.

La question de savoir comment soutenir des entreprises commercialement viables autour des logiciels open-source — tout en empêchant les fournisseurs de cloud de capter de la valeur sans contribuer — est devenue l'une des tensions définissant l'ère moderne de l'open-source. Elasticsearch et Redis sont deux des exemples les plus en vue de projets où cette tension a conduit à des forks visibles et à des différends de gouvernance.

Credit:  Luke Chesser / Unsplash

Prometheus est un système de surveillance et une base de données de séries temporelles créé chez SoundCloud et publié en open source en 2012. Il a été conçu pour résoudre un problème spécifique : comment surveiller des applications distribuées modernes, où un seul service peut consister en des dizaines de microservices fonctionnant sur des centaines de conteneurs, sans adresses IP fixes et des services démarrant et s'arrêtant continuellement ? Les outils de surveillance de la décennie précédente supposaient une infrastructure relativement statique qui pouvait être configurée manuellement. Prometheus supposait que l'infrastructure était éphémère et devait découvrir et suivre les services automatiquement.

L'approche du projet en matière de collecte de données, appelée le modèle de pull, était distinctive. Plutôt que d'avoir des services qui poussent des métriques vers un serveur central, Prometheus interroge régulièrement les services cibles pour leurs métriques via HTTP. Les services exposent un point de terminaison de métriques - généralement à /metrics - et Prometheus le scrute selon un calendrier. Cette conception a facilité l'ajout de la surveillance à tout service pouvant exposer un point de terminaison HTTP, et elle a donné aux opérateurs une image claire de ce qui était surveillé à tout moment donné.

Prometheus a introduit un langage de requête puissant appelé PromQL, qui permet aux opérateurs d'exprimer des requêtes complexes sur des données de séries temporelles. Un opérateur peut demander le 95e centile de la latence des requêtes sur l'ensemble des instances d'un service au cours des cinq dernières minutes, ou suivre le taux d'erreurs par rapport aux requêtes réussies. Ces requêtes alimentent des tableaux de bord et des règles d'alerte qui informent les ingénieurs quand quelque chose ne va pas avant que les utilisateurs ne le remarquent.

Prometheus a été le deuxième projet à rejoindre la Cloud Native Computing Foundation en 2016, après Kubernetes. Son inclusion reflétait l'importance centrale qu'avait prise la surveillance dans les opérations cloud-native. Un vaste écosystème d'"exportateurs" s'est développé autour de Prometheus - des composants logiciels qui traduisent les métriques des bases de données, des files de messages, du matériel et d'autres systèmes au format Prometheus, rendant possible la surveillance de presque n'importe quel composant d'une pile d'infrastructure avec un langage de requête cohérent.

Grafana, un outil de visualisation qui s'intègre étroitement avec Prometheus, est devenu la norme pour afficher les données de Prometheus. Ensemble, ils représentent la pile d'observabilité de facto pour l'infrastructure cloud-native, utilisée à travers l'industrie pour surveiller la santé des systèmes qui servent les applications web modernes.