asopi tech
asopi techIndie Developer

#データタグの記事

表示切り替え
Alopex Chirps とは何か ― 分散システムのクラスタを組むためのライブラリと、採用したコンセンサス
DATA
データ・DB

Alopex Chirps とは何か ― 分散システムのクラスタを組むためのライブラリと、採用したコンセンサス

分散システムを作ると、本題の前にノード発見・生死判定・メッセージング・合意を毎回作ることになる。Alopex Chirps はその四つだけを引き受けるライブラリである。何を担い何を担わないのか、QUICを選んだ理由、合意にopenraftを採用した経緯までを解説する。

コンセンサスアルゴリズム・アンダーグラウンド【第4回】 ― 身元を数えられない世界、PoWとPoS
DATA
データ・DB

コンセンサスアルゴリズム・アンダーグラウンド【第4回】 ― 身元を数えられない世界、PoWとPoS

参加者の身元も人数も不明なネットワークでは、1ノード1票が成立しない。PoWの確率的ファイナリティ、PoSが不可能性ではなく経済的な罰で支える構造、SolanaとAvalanche、そして合意を回避する選択肢と選定基準までを整理する。全4回シリーズ第4回(最終回)。

コンセンサスアルゴリズム・アンダーグラウンド【第2回】 ― クラッシュ故障の系譜、PaxosとRaft
DATA
データ・DB

コンセンサスアルゴリズム・アンダーグラウンド【第2回】 ― クラッシュ故障の系譜、PaxosとRaft

ノードは停止するが虚偽は送らない、というクラッシュ故障モデルの系譜。Paxosが用いる唯一の道具であるクォーラムの交差から、Raftによる分解、EPaxos、Multi-Raft、そして永続化順序や線形化読み取りという論文の外側までを最小コードで追う。全4回シリーズ第2回。

コンセンサスアルゴリズム・アンダーグラウンド【第1回】 ― 停止と遅延は区別できない
DATA
データ・DB

コンセンサスアルゴリズム・アンダーグラウンド【第1回】 ― 停止と遅延は区別できない

応答が返らないノードは、停止したのか遅延しているのか判別できない。リーダー選出・順序決定・確定という三つの別問題、FLP不可能性の実務的な意味、split brainとfencingトークン、合意したログと適用済み状態の境界を整理する。全4回シリーズ第1回。

それでも、私はAlopex DBを作る
ALOPEX
Alopex DB

それでも、私はAlopex DBを作る

SQLite・DuckDB・PostgreSQL・分散DB・ベクトルDB・グラフDB。優れた製品はいくらでもある。それでも新しいデータベースを作っているのは、開発段階が進むたびにDBを選び直し、そのたびにデータそのものを作り直しているからだ。ローカルからクラウド、単体から分散へスケールしても、データの量・変換時間・再生成コスト・来歴を失わない基盤を目指すAlopex DBの話。

【第1回】生成AIは何を「正解」に学ぶのか ― 自己教師あり学習とLLM
AI
生成 AI

【第1回】生成AIは何を「正解」に学ぶのか ― 自己教師あり学習とLLM

LLMも画像生成も、人間が全件ラベルを付けた教師データで学んでいるわけではありません。カギは「元データから入力と正解を機械的に作る」自己教師あり学習です。第1回では、元データと教師データの違い、そしてLLMがどうやってテキストそのものを次トークン予測問題に変えて学ぶのかを、最小コードとともに整理します。全5回シリーズ第1回。

AIに負けないスキル。データのエンジニアリング
DATA
データ・DB

AIに負けないスキル。データのエンジニアリング

コーディングエージェントはロジックやテストに強い。しかし「このデータは何を意味し、誰が責任を持ち、どの鮮度で流れ、正本はどれか」は分からない。これは「AIに身体性がない」ことから演繹されるテーマです。データの意味・品質・来歴・責任範囲を設計できる人こそ、AI時代に価値が上がる——最新のデータエンジニアリング議論とともに整理します。

スタートアップに最適なDBとは何か ― ステージ別ユースケース分析と「スケールの崖」問題

MVP期・PMF探索期・グロース期・スケール期の4ステージでデータベース要件がどう変わるかを分析し、SQLite・Postgres・マネージドDB・専用ベクトルDBのトレードオフを比較。その上で「移行の崖」を消すというAlopex DBのアプローチを位置づけます。

Alopex Chirps とは何か ― 分散システムのクラスタを組むためのライブラリと、採用したコンセンサス

分散システムを作ると、本題の前にノード発見・生死判定・メッセージング・合意を毎回作ることになる。Alopex Chirps はその四つだけを引き受けるライブラリである。何を担い何を担わないのか、QUICを選んだ理由、合意にopenraftを採用した経緯までを解説する。

コンセンサスアルゴリズム・アンダーグラウンド【第4回】 ― 身元を数えられない世界、PoWとPoS

参加者の身元も人数も不明なネットワークでは、1ノード1票が成立しない。PoWの確率的ファイナリティ、PoSが不可能性ではなく経済的な罰で支える構造、SolanaとAvalanche、そして合意を回避する選択肢と選定基準までを整理する。全4回シリーズ第4回(最終回)。

コンセンサスアルゴリズム・アンダーグラウンド【第3回】 ― 嘘をつくノード、PBFTからDAG-BFTへ

ノードが署名付きで矛盾した情報を送る世界を扱う。n=3f+1という定数の意味、PBFTの三段階投票、Tendermintのロック規則、HotStuffのQuorum Certificate、そしてNarwhal以降のDAG-BFTが何を分離し何を削ったかを整理する。全4回シリーズ第3回。

コンセンサスアルゴリズム・アンダーグラウンド【第2回】 ― クラッシュ故障の系譜、PaxosとRaft

ノードは停止するが虚偽は送らない、というクラッシュ故障モデルの系譜。Paxosが用いる唯一の道具であるクォーラムの交差から、Raftによる分解、EPaxos、Multi-Raft、そして永続化順序や線形化読み取りという論文の外側までを最小コードで追う。全4回シリーズ第2回。

コンセンサスアルゴリズム・アンダーグラウンド【第1回】 ― 停止と遅延は区別できない

応答が返らないノードは、停止したのか遅延しているのか判別できない。リーダー選出・順序決定・確定という三つの別問題、FLP不可能性の実務的な意味、split brainとfencingトークン、合意したログと適用済み状態の境界を整理する。全4回シリーズ第1回。

それでも、私はAlopex DBを作る

SQLite・DuckDB・PostgreSQL・分散DB・ベクトルDB・グラフDB。優れた製品はいくらでもある。それでも新しいデータベースを作っているのは、開発段階が進むたびにDBを選び直し、そのたびにデータそのものを作り直しているからだ。ローカルからクラウド、単体から分散へスケールしても、データの量・変換時間・再生成コスト・来歴を失わない基盤を目指すAlopex DBの話。

【第1回】生成AIは何を「正解」に学ぶのか ― 自己教師あり学習とLLM

LLMも画像生成も、人間が全件ラベルを付けた教師データで学んでいるわけではありません。カギは「元データから入力と正解を機械的に作る」自己教師あり学習です。第1回では、元データと教師データの違い、そしてLLMがどうやってテキストそのものを次トークン予測問題に変えて学ぶのかを、最小コードとともに整理します。全5回シリーズ第1回。

AIに負けないスキル。データのエンジニアリング

コーディングエージェントはロジックやテストに強い。しかし「このデータは何を意味し、誰が責任を持ち、どの鮮度で流れ、正本はどれか」は分からない。これは「AIに身体性がない」ことから演繹されるテーマです。データの意味・品質・来歴・責任範囲を設計できる人こそ、AI時代に価値が上がる——最新のデータエンジニアリング議論とともに整理します。