八百万のOSS

ミソラボ

毎回1つまたは複数のOSSを取り上げて、それについてエンジニアであるcatatsuyとへんてこで技術的なところも深掘りながら話をしていく番組です。 https://yaoyorozu-oss.henteko07.com/

  1. 2d ago

    #29 OpenGFWで知るGreat Firewallの仕組み

    OpenGFWは、中国のGreat Firewall(GFW)を模してLinux上で動かせる、Go製のオープンソースソフトウェアです。開発初期段階で、本物のGFWの機能の一部を再現したものです。DNSやTLS、QUICなどの通信を解析して、ブロックの挙動を手元で確かめられます。今回はcatatsuyが、OpenGFWを入り口に中国のネット検閲の仕組みを紹介します。 まず前提として、ICP制度を取り上げます。中国国内のサーバーでWebサイトを公開するには、ICP備案(届出)またはICP許可が必要です。そのうえで、代表的な手法の1つであるDNS汚染を扱います。GFWは暗号化されていないDNSの問い合わせに偽の応答を注入します。その偽応答にFacebookやDropbox、Twitterといった米国企業のIPアドレスが使われていることは、論文でも報告されています。 続いて、SNI遮断とIPアドレス遮断を取り上げます。SNI遮断は、TLSのClientHelloに含まれるSNIを見てドメイン単位で遮断する手法です。2024年4月からはHTTP/3(QUIC)のInitialパケットも復号してSNIを取り出し、送信元IP・宛先IP・宛先UDPポートの組み合わせを約3分間遮断していることが報告されています。 回避手法としては、QUICのconnection migrationを使うQUICstepを紹介します。ハンドシェイクのパケットだけを暗号化されたチャネル経由で送り、その後の通信を直接の経路に移す方式です。論文では、実際に運用されているQUICのSNI検閲を回避できたとしています。 さらに、ECHが普及した場合にTLS 1.3自体が遮断される可能性について、catatsuyの見立てを話します。実際にGFWは2020年に、ESNIを使うTLS接続を遮断しています。 後半では、検閲の動向を追うための検閲観測サイトとしてGFW ReportとOONIを紹介します。そこから、香港のデータセンターや海底ケーブルといった物理インフラと、世界情勢がインターネットにどう関わるかにも話が広がります。 DNSやTLS、HTTP/3の仕様が実際の検閲でどう使われ、どう回避されているのかを知りたい方におすすめの回です。 - OpenGFW(公式GitHub): https://github.com/HyNetworks/OpenGFW - QUICstep: Evaluating connection migration based QUIC censorship circumvention(GFW Report): https://gfw.report/publications/pets26a/en/ - QUICのSNI検閲に関する論文(GFW Report, USENIX Security 25): https://gfw.report/publications/usenixsecurity25/en/ - GFWによるESNI遮断(GFW Report): https://gfw.report/blog/gfw_esni_blocking/en/ - GFWのDNS検閲に関する論文(Hoang et al., USENIX Security 21): https://www.usenix.org/system/files/sec21-hoang.pdf - DNS汚染で返された偽IPアドレスへの接続に関する論文(GFW Report, FOCI 25): https://gfw.report/publications/foci25/en/ - GFW Report: https://gfw.report/en - OONI: https://ooni.org/about/ - 中国のインターネット検閲とGreat Firewallの歴史(GIGAZINE): https://gigazine.net/news/20250901-chinese-internet-censorship-great-firewall-history/ - Great Firewall(Wikipedia): https://en.wikipedia.org/wiki/Great_Firewall - ICP登録・ICPライセンスの解説(クララ): https://consulting.clara.jp/service/business-consulting/icp/ ───────────── YouTube: https://youtu.be/sPdHwyD2QR4 Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

  2. Nov 10

    #28 macOSでのビルドの難しさをHomebrewはどう吸収しているか

    Homebrewは、macOSでUnix系ソフトウェアのビルドとインストールを管理するパッケージマネージャーです。今回はcatatsuyが、macOSでソフトウェアをコンパイルするときの難しさと、Homebrewがそれをどう吸収しているかを紹介します。 macOSは標準のCコンパイラがClangで、ヘッダーやライブラリの配置もLinuxとは異なります。そのため、`./configure`、`make`、`make install`がそのまま通らないことがあります。Homebrewは、ソフトウェアのビルド手順や依存関係をRubyのFormulaで定義し、必要に応じてソースからビルドできる仕組みです。上流がビルド済みバイナリを配布している場合との違いも紹介します。 catatsuyの実体験として、M1 MacでLibreSSLをnginxと一緒にビルドできなかった件を紹介します。原因は、LibreSSLに含まれる`config.guess`と`config.sub`が古く、Apple Siliconを判定できなかったことでした。大元のプロジェクトから新しい版を取り込むPRを送り、マージされています。 Homebrewは2009年に登場し、現在はLinuxでも動作します。RubyのDSLを使う理由や、Homebrew自身が利用するPortable Rubyについて話します。System Integrity Protection(SIP)などmacOS特有の事情にも触れます。Apple Siliconでは`/opt/homebrew`、Intel Macでは`/usr/local`を標準のプレフィックスとすることで、Rosetta 2環境との共存を可能にしています。Cellarのディレクトリ構造や、シンボリックリンクを管理する`brew link`も紹介します。 Formulaでは`depends_on`で依存関係を指定できます。また、`brew tap`を使うことで、公式以外のリポジトリからもFormulaを導入できます。Formulaは単なる設定ファイルではなくRubyのコードであるため、信頼できるリポジトリを選ぶことが重要です。catatsuyはHTTP/3に対応させて独自にビルドしているcurlを、自分のtapで管理しています。 後半では、Homebrewがビルド済みバイナリを配布するBottlesの仕組みを紹介します。続いて、catatsuyが開発しているkekkaiが、本人の知らないうちに第三者によって公式のhomebrew-coreに登録されていた話をします。その流れで、作者本人と第三者とで異なる登録基準や、GitHubのstars、forks、watchersの閾値についても話します。 最後はセキュリティの話です。Homebrewは、公式リポジトリのレビューやチェックサムの検証、Bottlesなどによって安全性を高めています。一方で、これらの仕組みだけでソフトウェア自体の安全性まで保証できるわけではありません。特に第三者のtapや、ソースからのビルドで実行されるコードには注意が必要です。Homebrewが提供する安全対策と、それでも利用者が判断しなければならない部分について考えます。 Homebrewが裏側で何をしているのかを知り、macOSでの開発環境をもう一歩理解したい人に聞いてほしい回です。 - Homebrew: https://brew.sh/ - Homebrew/brew: https://github.com/homebrew/brew - kekkai(catatsuy): https://github.com/catatsuy/kekkai - LibreSSLへのPR #800: https://github.com/libressl/portable/pull/800 - kekkaiのHomebrew Formula: https://formulae.brew.sh/formula/kekkai - Homebrew Documentation: https://docs.brew.sh/ - Formula Cookbook: https://docs.brew.sh/Formula-Cookbook - Taps (Third-Party Repositories): https://docs.brew.sh/Taps - Bottles (Binary Packages): https://docs.brew.sh/Bottles - Package Acceptance Policy: https://docs.brew.sh/Package-Acceptance-Policy - Homebrew FAQ: https://docs.brew.sh/FAQ - Homebrew Installation: https://docs.brew.sh/Installation - Homebrew Portable Ruby: https://github.com/Homebrew/homebrew-portable-ruby/blob/main/README.md - Homebrew Security and Supply Chain: https://docs.brew.sh/Homebrew-Security-and-Supply-Chain - Tap Trust: https://docs.brew.sh/Tap-Trust ───────────── YouTube: https://youtu.be/WAGiuM_5-CM Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

  3. Nov 5

    #27 緊急!ISUCON2026優勝者に聞く、完全自律AIエージェントの作り方と今後のOSS | kawasy

    今回は、AIエージェントを完全自律で動かしてISUCON2026で優勝したkawasyさんをゲストに迎えたゲスト回です。fukabori.fmで語られた大会の全体像を踏まえて、準備の過程での判断と、その背景にある考え方を伺いました。 kawasyさんは当初から「人間が介入せず、8時間止まらずに最後まで自律的に動くこと」を目標に準備していました。AlphaEvolveのような進化的探索や独自コーディングエージェントも構想にありましたが、評価実験の結果、最終的にはClaude Codeをベースに、その上のユーザーハーネスだけを作る形に落ち着いています。 準備の途中では、デプロイとベンチマークに合わせて全ホストのメトリクスを自動で取るツール群を作り込んでいました。しかし、何も用意しない構成のほうがスコアが高いケースがあり、エージェントがその場で必要な情報を取るアドホックな計測スクリプトを書いていたことに気づきます。9月末にハーネスを一度捨て、終盤のばらつきを減らす知識だけを慎重に足していったそうです。 当日はSlackへの通知ツールやRemote Controlを用意しつつも、人間からの入力も通知も0回。競技開始から1時間22分で50万点に到達しました。後半では、汎用ツールやOSSはエージェント時代にどう使われるのか、長期的なプロダクト開発との違い、そして評価環境の整備やエージェント構成の判断など、人間に残る仕事について話しています。 AIエージェントにどこまで任せ、人間が何を担うのかを、ISUCONという評価基準が明確な舞台での実験から掘り下げた回です。 ## 関連リンク - fukabori.fm 142. ISUCON2026で優勝する方法 w/ kawasy: https://fukabori.fm/episode/142 - ISUCON2026 で優勝しました(当日編): https://zenn.dev/luvtechno/articles/isucon2026-competition-day - ISUCON2026 受賞チームと全チームのスコア: https://isucon.net/archives/60126600.html - herdr: https://github.com/herdrdev/herdr - kawasy(X): https://x.com/kawasy ───────────── YouTube: https://youtu.be/TeqlzPxliAI Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

  4. Nov 3

    #26 Renovateはどこまで設定できるか — nginx-buildとprivate-isuの全自動更新

    Renovateは、リポジトリ内の依存関係を検出し、新しいバージョンが出たら更新のプルリクエストを作ってくれるOSSです。今回は、catatsuyがメンテナンスしているnginx-buildとprivate-isuを例に、デフォルト設定の先でRenovateをどこまでカスタマイズできるのかを話しました。 nginx-buildは、nginxや依存ライブラリのバージョンをGoのソースコードに直接書いています。`customManagers`の正規表現を使えばこれも更新対象にできますが、そもそも何を最新版とするのか、バージョン情報をどこから取得するのかという問題があります。マイナーバージョンの末尾を`[02468]`に限定してnginxのstable版だけを追う設定や、4つ目の数字を持つOpenRestyへの対応を紹介します。 OpenRestyではタグが後から削除・変更されるなど、リリース運用に問題があります。こうした問題を避けようと導入した`minimumReleaseAge`は、現在ではサプライチェーン攻撃への備えとしても役立っています。stable版を機械的に判定しづらいLibreSSLは、`dependencyDashboardApproval`で人が確認してから承認しています。また、5言語の実装が同居するprivate-isuでは、定期的なロックファイルメンテナンスを言語ごとのPRに分けています。 後半はLTSの扱いです。MySQLのInnovationリリースが年月ベースの番号(26.7など)になり、LTSではない版への更新が提案されるようになりました。Docker Official Imagesの情報からLTS系列を抽出するカスタムデータソースや、JSONataを使って取得した情報を加工する仕組みを紹介します。さらにOpenSSLでは、LTS系列の変更を検出してRenovateが`renovate.json`自身の設定を書き換える仕組みまで実装しています。 一時期放置されていた2つのリポジトリのメンテナンスを続けられているのは、Renovateによって更新作業を自動化できたからでした。依存関係の更新を自動化したい人や、OSSのバージョニングやリリース運用に興味がある人に聞いてほしい回です。 ## 関連リンク - Renovate: https://github.com/renovatebot/renovate - Renovate Docs: https://docs.renovatebot.com/ - Renovate(GitHub App): https://github.com/apps/renovate - nginx-build: https://github.com/cubicdaiya/nginx-build - nginx-buildのrenovate.json: https://github.com/cubicdaiya/nginx-build/blob/f922e02770fec219eea31a2d80aaadae1636cf14/renovate.json - private-isu: https://github.com/catatsuy/private-isu - private-isuのrenovate.json: https://github.com/catatsuy/private-isu/blob/730e8a4c7a15d4432e2f973ca18a6078fdaf8881/renovate.json - MySQLのLTS更新だけRenovateで検知する(catatsuy): https://zenn.dev/catatsuy/articles/b55b170cceef1c - OpenRestyで困っている話(catatsuy): https://zenn.dev/catatsuy/articles/59afbdeee53757 - private-isuのメンテナンスよもやま話(catatsuy): https://zenn.dev/catatsuy/articles/da4362ff80dac5 - OpenResty Issue #948(Tag Problem in OpenResty v1.21.4.3): https://github.com/openresty/openresty/issues/948 - OpenResty Issue #1092(Release process request): https://github.com/openresty/openresty/issues/1092 - Renovate Docs: Custom Manager Support using Regex: https://docs.renovatebot.com/modules/manager/regex/ - Renovate Docs: Regular Expression Versioning: https://docs.renovatebot.com/modules/versioning/regex/ - Renovate Docs: Custom Datasource: https://docs.renovatebot.com/modules/datasource/custom/ - Renovate Docs: Minimum Release Age: https://docs.renovatebot.com/key-concepts/minimum-release-age/ - Renovate Docs: Dependency Dashboard: https://docs.renovatebot.com/key-concepts/dashboard/ - Renovate Docs: lockFileMaintenance: https://docs.renovatebot.com/configuration-options/#lockfilemaintenance - Docker Official Images(library/mysql): https://github.com/docker-library/official-images/blob/master/library/mysql - MySQL Releases: Innovation and LTS: https://dev.mysql.com/doc/refman/en/mysql-releases.html - openssl/release-metadata: https://github.com/openssl/release-metadata - OpenSSL Release Roadmap: https://openssl-library.org/roadmap/index.html - LibreSSL: https://www.libressl.org/ ───────────── YouTube: https://youtu.be/qh_mjLhARoA Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

  5. Oct 27

    #25 go-jsonはなぜ速いのか — Opcode VMとgo:linknameの話 | goccy

    go-jsonは、Go標準の`encoding/json`と互換のインターフェースを持つ高速なJSONライブラリです。今回は作者のgoccyさんをゲストに迎え、主にエンコーダの高速化の仕組みを深掘りしました。 開発のきっかけは、ブラウザゲームのサーバーで大量のJSONを返す際に、エンコードがボトルネックになったことでした。json-iterator/goへの置き換えでも十分な改善が得られず、自ら実装に取り組みます。 go-jsonの中心にあるのは、型ごとにOpcode(命令列)を生成・キャッシュし、VM(バーチャルマシン)で実行する仕組みです。関数呼び出しを繰り返す代わりに、巨大なswitch-caseで命令を処理します。ジャンプテーブルへのコンパイルをアセンブリで確認する方法や、caseの配置によってベンチマーク結果が変動する問題など、低レイヤーの最適化について詳しく聞きました。 さらに、`reflect`のヒープへの強制エスケープを回避するために利用していた`go:linkname`の話へ。標準ライブラリの非公開APIへの依存がGo本体の開発を妨げる事例として、2024年にRuss CoxさんのIssueでgo-jsonが名指しされました。この問題を背景にGo 1.23では`go:linkname`への制限が強化され、Goのソースコードには今もgo-jsonの名前が残っています。 2026年9月のv0.11.0では、コーディングエージェントも活用しながら`go:linkname`を全面的に削除。Go 1.21での`reflect`の改善に加え、`typelinks`を使ったキャッシュをオープンアドレス法のハッシュテーブルに置き換え、読み出しをロックフリーに保ちながらメモリ使用量と性能を改善しました。その結果、bytedance/sonicを上回るベンチマーク結果も得られています。 後半では、さらに高速なvelox-io/jsonの実装にも注目します。Cで記述したVMをELFとして埋め込み、GCCのcomputed gotoで命令を直接ディスパッチする方式です。こうした手法との比較を踏まえ、`encoding/json/v2`への対応やeasyjsonのようなコード生成方式など、go-jsonの今後についても議論しました。 JSONライブラリの内部実装から、ベンチマークとプロファイリングの向き合い方、OSSの保守と設計判断まで。GoでJSONを扱う方や、ISUCONに参加する方にぜひ聞いてほしい回です。 ## 関連リンク - go-json: https://github.com/goccy/go-json - go-json v0.11.0 リリースノート: https://github.com/goccy/go-json/releases/tag/v0.11.0 - go-json ベンチマークレポート: https://goccy.github.io/go-json/ - go-json Issue #573(velox-io/jsonとのベンチマーク比較): https://github.com/goccy/go-json/issues/573 - golang/go Issue #67401(cmd/link: lock down future uses of linkname): https://github.com/golang/go/issues/67401 - Goのreflect/type.goでgo-jsonに言及している箇所: https://github.com/golang/go/blob/c0be4674865b06f0be851e27cef93136708be506/src/reflect/type.go#L2836-L2846 - Go 1.21 Release Notes: https://go.dev/doc/go1.21 - Go 1.23 Release Notes: https://go.dev/doc/go1.23 - encoding/json/v2: https://pkg.go.dev/encoding/json/v2 - velox-io/json: https://github.com/velox-io/json - velox-io/json アーキテクチャ解説: https://github.com/velox-io/json/blob/main/docs/arch_2_en.md - bytedance/sonic: https://github.com/bytedance/sonic - json-iterator/go: https://github.com/json-iterator/go - easyjson: https://github.com/mailru/easyjson - GCC Labels as Values: https://gcc.gnu.org/onlinedocs/gcc/Labels-as-Values.html ───────────── YouTube: https://youtu.be/kYi8VVimHAE Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

  6. Oct 20

    #24 ログローテートで何が起きている?ファイルディスクリプタとinodeの仕組み

    CloudWatch Logsのようなクラウドのログ機能も、裏側ではログファイルを読み取り、別のサーバーへ送る仕組みが動いています。今回はFluentdを入口に、Linuxのファイル操作とログローテートの仕組みをcatatsuyが解説します。 まずはファイルディスクリプタとinodeの基本から。`read()`によるファイルポジションの更新、並行処理での`pread()`の利用、複数プロセスからログを書き込む際の`O_APPEND`と`write()`の関係を説明します。 続いてログローテートの仕組みを掘り下げます。ファイルを`mv`してもinodeは変わらず、開いたままのファイルディスクリプタは古いファイルを参照し続けます。Fluentdの`in_tail`はどうやってローテートを検知するのか。inotifyによるファイル監視がログの書き込み頻度によってCPU負荷を高める問題や、`enable_stat_watcher`による対策も紹介します。さらに、nginxが`USR1`シグナルでログを開き直す理由や、logrotateの`create`と`nocreate`の違いも解説します。 logrotateの`O_EXCL`によるファイル作成にも触れ、最後はFluentdの不具合をcronの`touch`で回避した結果、ログファイルの所有者がrootになり、アプリケーションが書き込めなくなった実際の障害を紹介します。 普段は意識しないLinuxのファイル操作が、ログ収集や運用上の問題にどうつながるのかを掘り下げる回です。 ## 関連リンク - catatsuy「logrotateの設定とファイルのアクセスモードについて」(2018年): https://catatsuy.medium.com/logrotateの設定とファイルのアクセスモードについて-f9719352dada - Fluentd: https://www.fluentd.org/ - Fluentd(GitHub): https://github.com/fluent/fluentd - Fluentd in_tail(rotate_wait / enable_stat_watcher): https://docs.fluentd.org/input/tail - Fluentdのログローテート検知時のwatcher修正: https://github.com/fluent/fluentd/pull/1598 - Fluent Bit: https://fluentbit.io/ - logrotate: https://github.com/logrotate/logrotate - logrotateのファイル作成処理(O_EXCL): https://github.com/logrotate/logrotate/blob/1aba3764602a0a013ac3fb1ee57ed547dff03f88/logrotate.c#L600-L614 - logrotate(8): https://man7.org/linux/man-pages/man8/logrotate.8.html - Debianのnginxパッケージのlogrotate設定: https://sources.debian.org/src/nginx/1.26.3-3+deb13u7/debian/nginx-common.nginx.logrotate/ - nginxのシグナル制御(USR1): https://nginx.org/en/docs/control.html - open(2): https://man7.org/linux/man-pages/man2/open.2.html - write(2): https://man7.org/linux/man-pages/man2/write.2.html - pread(2): https://man7.org/linux/man-pages/man2/pread.2.html - inotify(7): https://man7.org/linux/man-pages/man7/inotify.7.html - Go os.SameFile: https://pkg.go.dev/os#SameFile - Go os.File.ReadAt: https://pkg.go.dev/os#File.ReadAt - Amazon CloudWatch Logs: https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html ───────────── YouTube: https://youtu.be/vcakJioDvIs Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

  7. Oct 13

    #23 curlで覗くDNSとHTTP/3の仕組み

    APIを叩くとき、レスポンスを確認するとき、エンジニアなら誰もが一度は使うcurl。でも `curl -V` の出力をじっくり読んだことはありますか? 今回は、HTTP/3やECHの挙動確認のためにcurlを自前でビルドしているcatatsuyが、普段何気なく使っているcurlの裏側を掘り下げます。 HTTP/3対応のcurlをビルドしようとすると、nghttp3やngtcp2、TLSライブラリなど、さまざまなOSSが登場します。当時の公式手順ではquictlsが使われていましたが、BoringSSL互換のAPIを持つLibreSSLでも動くはずだと考えて試したところ、問題なく利用できました。依存ライブラリを毎回ビルドするのは面倒なのでHomebrewのFormulaで自動化しました。その後、ECHの検証のためにOpenSSL 4系へ移行し、OpenSSL 4.0.0では動かなかったHTTP/3とECHの組み合わせが、4.0.2では動くようになっていた話も紹介します。 普段使いのcurlにも意外な落とし穴があります。以前はTLS 1.1を指定する挙動だった `--tlsv1.1` が、TLS 1.1以上を使う指定に変わり、TLS 1.2で通信できてしまった経験を紹介します。TLS 1.1に限定するには `--tls-max 1.1` も必要です。また、`--resolve` を使えばHostヘッダーやSNIを維持したまま、接続先IPアドレスだけを差し替えられます。さらに、IPv6で問題が起きていてもIPv4へのフォールバックによって通信できてしまうHappy Eyeballsや、非同期DNSライブラリのc-aresなど、一見単純なHTTPリクエストの裏側にある仕組みを見ていきます。 特に深掘りするのが、HTTPSレコードを使ったHTTP/3接続です。HTTP/2で通信した後、レスポンスに含まれるAlt-SvcヘッダーでHTTP/3の接続先を知る流れを紹介します。curlでも `--alt-svc` を使えば、その情報をファイルに保存して次回の接続に利用できます。一方、DNSのHTTPSレコードでHTTP/3対応を知ることができれば、最初からHTTP/3で接続できるはず。ところが実際には、たまにHTTP/3で接続できても、その後は何度試してもHTTP/2になってしまう。しばらく悩んだ末に分かった原因は、OSのDNSキャッシュでした。検証した環境では、A/AAAAレコードをgetaddrinfo経由でOSのDNSキャッシュから素早く取得できる一方、HTTPSレコードはc-aresで別途問い合わせていたため、HTTP/3の情報が届く前にHTTP/2で接続していたのです。DNSキャッシュを消すと再びHTTP/3で接続できるようになるという、キャッシュが効くことで新しいプロトコルが選ばれにくくなる現象でした。 最後は、curlの接続処理からWebアプリケーションの安定性の話へ。libcurlの接続タイムアウトはデフォルトで300秒、通信全体のタイムアウトはデフォルトで制限なし。PHPのcURL拡張やGuzzleを使っていても、外部APIの障害によってPHP-FPMのワーカープロセスが外部APIの応答待ちで埋まり、自分のサービスまで応答できなくなる可能性があります。`--connect-timeout` と `--max-time` の違いから、外部通信のタイムアウト設計まで話を広げます。 ## 関連リンク - curl: https://curl.se/ - curl HTTP/3ビルド手順(HTTP3 with curl): https://curl.se/docs/http3.html - curl HTTPSレコード対応ドキュメント: https://github.com/curl/curl/blob/master/docs/HTTPSRR.md - curl ECHドキュメント: https://github.com/curl/curl/blob/master/docs/ECH.md - curl man page(--resolve / --tls-max / --alt-svc / --connect-timeout / --max-time): https://curl.se/docs/manpage.html - curl Alt-Svc: https://curl.se/docs/alt-svc.html - libcurl: https://curl.se/libcurl/ - libcurl CURLOPT_CONNECTTIMEOUT: https://curl.se/libcurl/c/CURLOPT_CONNECTTIMEOUT.html - libcurl CURLOPT_TIMEOUT: https://curl.se/libcurl/c/CURLOPT_TIMEOUT.html - catatsuy/homebrew-tap(HTTP/3・ECH対応curlのFormula): https://github.com/catatsuy/homebrew-tap - Homebrew: https://brew.sh/ - nghttp2: https://nghttp2.org/ - nghttp3: https://github.com/ngtcp2/nghttp3 - ngtcp2: https://github.com/ngtcp2/ngtcp2 - c-ares: https://c-ares.org/ - OpenSSL: https://www.openssl.org/ - LibreSSL: https://www.libressl.org/ - BoringSSL: https://boringssl.googlesource.com/boringssl/ - quictls: https://github.com/quictls/quictls - RFC 8305 Happy Eyeballs Version 2: https://www.rfc-editor.org/info/rfc8305/ - Happy Eyeballs Version 3(Internet-Draft): https://datatracker.ietf.org/doc/draft-ietf-happy-happyeyeballs-v3/ - RFC 7838 HTTP Alternative Services(Alt-Svc): https://www.rfc-editor.org/info/rfc7838/ - RFC 9460 SVCB and HTTPS Resource Records: https://www.rfc-editor.org/info/rfc9460/ - RFC 9849 TLS Encrypted Client Hello(ECH): https://www.rfc-editor.org/info/rfc9849/ - RFC 8484 DNS Queries over HTTPS(DoH): https://www.rfc-editor.org/info/rfc8484/ - getaddrinfo(3): https://man7.org/linux/man-pages/man3/getaddrinfo.3.html - PHP cURL: https://www.php.net/manual/ja/book.curl.php - Guzzle Request Options(connect_timeout / timeout): https://docs.guzzlephp.org/en/stable/request-options.html - Go net/http: https://pkg.go.dev/net/http ───────────── YouTube: https://youtu.be/sYigIRmcQSg Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

  8. Oct 6

    #22 HTTPSでも見えているドメイン名 — ECHとインターネットの未来

    ECH(Encrypted Client Hello)は、TLSのClientHelloをInnerとOuterに分け、実際のSNIなどを含むClientHelloInnerを暗号化する仕組みです。ただ、いざ自分のサーバーで有効にしようとすると、思っていたよりずっと奥が深い世界が待っていました。 前半では、なぜHTTPSでもドメイン名が見えていたのかをSNIから振り返り、ESNIがなぜうまくいかなかったのか、ClientHelloInner/Outer、GREASE ECHといった現在のECHの仕組みまで整理します。暗号化すれば検閲できなくなるわけではなく、中国やロシアでは残された情報を使ったブロックも実際に行われています。 後半はいよいよ運用編です。DNSのHTTPSリソースレコードでECHConfigListを配る仕組み、ECH keyを定期的にローテーションするとDNS cacheとの間で世代がずれる問>題を扱います。複数世代の鍵から復号候補を絞る1 byteのconfig_id、古いECHConfigを持ったclientへ最新のECHConfigListを返せるretry_configs、さらにnginxのssl_ech_fileでは最初に指定した鍵だけがretry用になるという暗黙的な挙動まで掘り下げます。 OpenSSLでECH keyを生成し、nginxで実際に設定すると何が必要なのか。DNSが広告するECHConfigと各Edgeに配置されたprivate keyをどう同期させるのか。CloudflareのようにDNSとTLS Edgeの両方を持つ事業者では、この複雑な仕組みをどう自動化しているのかも考えます。 最後は、サブドメインでテナントを分けるサービスではECHが何を隠せるのか、企業ネットワークのDNSやSNI監視とはどうぶつかるのか、そしてプライバシーを高めよ>うとすると、なぜ大規模なDNS・CDN事業者が有利になるのかまで話が広がります。 ECHの仕様を追っていくと、TLSだけではなく、DNS、CDN、検閲、そしてこれからのインターネットの構造まで見えてきます。インフラやCDN、TLSの運用に関わる人はぜひ本編で。 ## 関連リンク - RFC 9849 TLS Encrypted Client Hello(ECH): https://www.rfc-editor.org/info/rfc9849/ - RFC 9848 Bootstrapping TLS Encrypted ClientHello with DNS Service Bindings: https://www.rfc-editor.org/info/rfc9848/ - RFC 6066 TLS Extensions(SNI): https://www.rfc-editor.org/info/rfc6066/ - RFC 9460 SVCB and HTTPS Resource Records: https://www.rfc-editor.org/info/rfc9460/ - RFC 8484 DNS Queries over HTTPS(DoH): https://www.rfc-editor.org/info/rfc8484/ - RFC 7858 DNS over TLS(DoT): https://www.rfc-editor.org/info/rfc7858/ - nginx ngx_http_ssl_module(ssl_ech_file): https://nginx.org/en/docs/http/ngx_http_ssl_module.html#ssl_ech_file - OpenSSL openssl ech: https://docs.openssl.org/4.0/man1/openssl-ech/ - Cloudflare ECH Protocol: https://developers.cloudflare.com/ssl/edge-certificates/ech/ - GFW Report — ESNI Blocking: https://gfw.report/blog/gfw_esni_blocking/en ───────────── YouTube: https://youtu.be/gMfsXOksIPc Web: https://yaoyorozu-oss.henteko07.com/ X: https://x.com/yaoyorozu_oss

About

毎回1つまたは複数のOSSを取り上げて、それについてエンジニアであるcatatsuyとへんてこで技術的なところも深掘りながら話をしていく番組です。 https://yaoyorozu-oss.henteko07.com/

You Might Also Like