


an elegant way to fix user IDs in docker containers using docker_userid_fixer
Aug 15, 2024 pm 06:42 PMwhat is it about?
It's about a rather technical issue in using docker containers that interact with the docker host computer, generally related to using the host filesystem inside the container.
That happens in particular in reproducible research context.
I developed an opensource utility that helps tackling that issue.
docker containers as execution environments
The initial and main use case of a docker container: a self-contained application that only interacts with the host system with some network ports.
Think of a web application: the docker container typically contains a web server and a web application, running for example on port 80 (inside the container). The container is then run on the host, by binding the container internal port 80 to a host port (e.g. 8000).
Then the only interaction between the containerized app and the host system is via this bound network port.
Containers as execution environments are completely different:
- instead of containerizing an application, it's the application build system that is containerized.
- it could a be a compiler, an IDE, a notebook engine, a Quarto publishing system...
- the goals are:
- to have an standard, easy to install and share environment
- imagine a complex build environment, with fixed versions of R, python and zillions of external packages. Installing everything with the right versions can be a very difficult and time-consuming task. By sharing a docker image containing everything already installed and pre-configured is a real time-saver.
- to have a reproducible environment
- by using it, you are able to reproduce some analysis results, since you are using very same controlled environment
- you can also easily reproduce bugs, which is the first step to fixing them
- to have an standard, easy to install and share environment
But, in order to use those execution environments, those containers must have access to the host system, in particular to the host user filesystem.
docker containers and the host filesystem
Suppose you have containerized an IDE, e.g. Rstudio.
Your Rstudio is installed and running inside the docker container, but it needs to read and edit files in your project folder.
For that you bind mount your project folder (in your host filesystem) using the docker run --volume option.
Then your files are accessible from withing the docker container.
The challenge now are the file permissions. Suppose your host user has userid 1001, and suppose that the user owning the Rsudio process in the container is either 0 (root), or 1002.
If the container user is root, then it will have no issue in reading your files.
But as soon as you edit some existing files, are produce new ones (e.g. pdf, html), these files will belong to root also on the host filesystem!.
Meaning that your local host user will not be able to use them, or delete them, since they belong to root.
Now if the container user id is 1002, Rstudio may not be able to read your files, edit them or produce new files.
Even if it can, by settings some very permissive permissions, your local host user may not be able to use them.
Of course one bruteforce way of solving that issue is to run with root both on the host computer and withing the docker container. This is not always possible and raise some obvious critical security concerns.
solving the file owner issue part 1: the docker run --user option
Because we can not know in advance what will be the host userid (here 1001), we can not pre-configure
the userid of the docker container user.
docker run now provides a --user option that enables to create a pseudo user with some supplied userid
at runtime. For example, docker run --user 1001 ... will create a docker container running with processes
belonging to a user with userid 1001.
So what are we still discussing this issue? Isn't it solved?
Here some quirks about that dynamically created user:
- 擬似ユーザーです
- ホームディレクトリ (/home/xxx) がありません
- /etc/passwd には表示されません
- 事前に設定することはできません。 bash プロファイル、いくつかの環境変数、アプリケーションのデフォルトなどを使用します...
これらの問題を回避することはできますが、退屈でイライラする可能性があります。
私たちが本当に望んでいるのは、Docker コンテナ ユーザーを事前設定し、
実行時... でその userid を動的に変更できるようにすることです。
docker_userid_fixer は、先ほど提起した userid の問題を修正するための
docker エントリポイント として使用することを目的としたオープン ソース ユーティリティです。 使用方法を見てみましょう: これを docker ENTRYPOINT として設定し、使用するユーザーを指定し、その
userid を動的に変更します:
リーリー
用語を正確に言いましょう:
target
- ユーザーは、docker_userid_fixer にリクエストされたユーザーです。ここでは
- user1 リクエストされたユーザーは、docker runによってプロビジョニングされたユーザー、つまり最初のプロセス(PID 1)を(当初)所有するユーザーです
- その後、コンテナー ランタイムの作成時に、次の 2 つのオプションがあります:
ユーザーIDが(すでに)
target- ユーザーIDと一致する場合、何も変更する必要はありません
- あるいはそうではありません。たとえば、requestedのユーザーIDは1001 、
- targetのユーザーIDは100です。 次に、docker_userid_fixer は、コンテナーのメインプロセスで直接、ターゲットユーザーuser1のユーザーIDを1000から1001に修正します。 実際にはこれで問題は解決します: コンテナのユーザーIDを修正する必要がない場合は、通常の方法でdocker runを使用してください(--userオプションなし)
-
docker_userid_fixer のセットアップ
- セットアップに関する手順はここでご覧いただけます。
- しかし、要約すると次のようになります:
小さな実行可能ファイル (17k) をビルドまたはダウンロードします
- Docker イメージにコピーします
-
-
短いメモをいくつか入れました https://github.com/kforner/docker_userid_fixer#how-it-works
でも、言い換えてみます
setuid root
です。 ユーザー ID を変更するには root 権限が必要であり、この setuid は に対してのみその特権実行を有効にします。
docker_userid_fixerプログラム、そしてそれは非常に短期間です。
リクエストされたユーザー (およびユーザー ID) に送信します。
これらのトピック (Docker、再現可能な研究、R パッケージ開発、アルゴリズム、パフォーマンスの最適化、並列処理など) に興味がある場合は、仕事やビジネスの機会について話し合うために、お気軽に私に連絡してください。
The above is the detailed content of an elegant way to fix user IDs in docker containers using docker_userid_fixer. For more information, please follow other related articles on the PHP Chinese website!

Hot Article

Hot tools Tags

Hot Article

Hot Article Tags

Notepad++7.3.1
Easy-to-use and free code editor

SublimeText3 Chinese version
Chinese version, very easy to use

Zend Studio 13.0.1
Powerful PHP integrated development environment

Dreamweaver CS6
Visual web development tools

SublimeText3 Mac version
God-level code editing software (SublimeText3)

Hot Topics

What are the types of values returned by c language functions? What determines the return value?

C language function format letter case conversion steps

What are the definitions and calling rules of c language functions and what are the

Where is the return value of the c language function stored in memory?

How do I use algorithms from the STL (sort, find, transform, etc.) efficiently?

How does the C Standard Template Library (STL) work?
