プロダクトをマネージしたい話

先月から某 SaaS スタートアップで Product Manager の副業をさせていただいている。 今月から副業PdMを始めたが果たしてうまくいくか— (@satoshihirose) July 17, 2022 本業でも最近は Product チームと一緒に働いたり、Product Management 領域の仕事をし…

勉強会でモダンデータスタックの話をした

先週、Data Engineering Study という勉強会でざっくりとモダンデータスタックの話をした。 イベント参加登録者は400人超で最大同時接続数は180くらいだったそうな。 forkwell.connpass.com こちら第14回 #DataEngineeringStudy の発表資料です。Overview of…

組織のカルチャーを維持する方法について

背景 この前、Openness というカルチャーに関する記事を書いた。 Openness について - satoshihirose.log 組織のカルチャーについてこれまで思いを馳せることも多く、何となく考えを文章にしてすっきりしたくなったので記事にする。 組織のカルチャーとはど…

Openness について

"不必要なコミュニケーションを制限する" チームトポロジーを読んでいる。 一環して、逆コンウェイの法則に従うように、つまり理想のシステムアーキテクチャに沿うように組織設計をしようと主張する本である。 チャプター2 で、不必要なコミュニケーションを…

dbt on Treasure Data with dbt-trino の動作確認をした

サマリー dbt-trino アダプターを使って dbt を TD で使えるか試したら動いた。 これで dbt のエコシステムを使っていろいろ出来そう 背景 以前 dbt の presto アダプターである dbt-presto を試したが、コードに修正をしないと動かないことが分かった。 sat…

Customer Reliability Engineering in Action

CRE

What's this? Customer Reliability Engineering の方法論について考えたことをまとめる。 CREing Google の提唱した CRE 職の新規性は、SRE の発想を自社プラットフォームのみならずその上で動く顧客アプリケーションにも適用したことにある。 基本的にはそ…

Superset で TD に接続できるか動作確認をした

サマリー Superset を localhost で動かす TD への接続確認 PyHive で動作確認 trino-python-client で動作確認 sqlalchemy-trino で動作確認 PyHive にパッチを当てて動作確認 サマリー Superset から TD に接続する方法として pyhive、trino-python-client…

30年後読んでも面白いであろう海外SF小説10選

これはなに ここ3-4年、散発的にSF小説を読むにつれSF小説好きとしての自認が徐々に強くなってきた。そこで、大した冊数もない自分の既読本の中から、特に面白いと思ったものを挙げて自分の考えをまとめる。 このリストの中で一番古い作品は1949年の一九八四…

Modern Data Stack / モダンデータスタックというトレンドについて

はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML …

CREを一年やってみたサマリー

転職して一年経過した CREとしてTDに転職して、一年経過したので今の所感とどんなことやったのかをまとめる。 一人目ロールのCRE 前々職ではAWSインフラに詳しくなって、前職でデータ基盤の開発・運用をした。データ基盤の開発運用は基本的には保守的な活動…

行ってみたいリゾートホテル3選、2021年夏

新婚旅行でバリに滞在したときの体験が良かったので、人生で財布に余裕ができたらまたリゾートホテルに滞在したいなと思っていたが、コロナ禍で目処が立たなくなってしまった。時間もあり Apple TV 4K も少し前に購入したので、滞在するとしたらどこが良いか…

dbt on Treasure Data with dbt-presto の動作確認をした

サマリー dbt が Treasure Data で動くか試してみた。 結果としては dbt-presto の修正が必要そうで現状のままでは動作しないことが確認できた。 果たして dbt-presto に Treasure Data に合うようなモードを追加するのが良いか、 dbt-athena のように別なプ…

リバースETLはデータパイプラインの何を変えるのか

はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事…

Data Lineage したい

条件 現職で管理している現行のデータパイプラインである Treasure Workflow(managed digdag on TD)+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt…

Customer Reliability Engineer の発展的な職務領域についての覚書

CRE

Customer Reliability Engineering とは 現在の自分は B2B SaaS の技術サポートを提供するチームの中で Customer Reliability Engineer (CRE)として働いている。 Customer Reliability Engineering は 2016 年に Google が提唱し始めた職務領域で、Google 社…

データ系エンジニアの職種の違い

はじめに 自分は Martin Kleppmann が言うデータ指向アプリケーションやそれを実現する周辺の技術領域が好きで、業務としてそのような領域のエンジニアリングを引き続きやっていけたらなと思っています。 世の中には関連する職種の求人が多々ありますが、同…

2019年買って良かったものと今欲しいもの

2019年買って良かった物 基本的に必要にかられないと買い物はしないが(書籍は除く)、今年に買って良かった物を紹介する。 第5位 BRAUNのハンドブレンダー みじん切りとか楽にしたりスムージーとかしたいねとずっと話していたが、踏み切れず先延ばしにして…

聴いているPodcastの番組

通勤時間が徒歩+電車で片道30分超くらいで、その道すがらPodcastを聴いています。コンテンツはTechニュースが主で、英語のリスニングも兼ねていて、稀にshadowingもしたりします。以下に、聴いているPodcastを紹介します。その他におすすめの番組あれば教え…

(翻訳) データエンジニアリングの未来

訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事…

JMX metrics exposed in Presto version 302

Summary Presto provides JMX metrics to monitor its system but there is few description in the document what metrics we can use, so I checked it. Monitoring · prestosql/presto Wiki · GitHub I used CLI tool jmxterm to get the information. Co…

ベン・ホロウィッツの「HARD THINGS」を読んだ

最近、組織的な動きによって問題の解決が可能かを考える場面がたまにあるので、何かヒントになることでもないかと思い、前から読んでみたかった本書を読んだ。 HARD THINGS作者: ベン・ホロウィッツ,小澤隆生,滑川海彦、高橋信夫出版社/メーカー: 日経BP社発…

クリスティーナ・ウォドキー「OKR」とジョン・ドーア「Measure What Matters」を読んだ

What's this? 去年の8月に現職に就いた際に、組織目標をOKRで管理していることを知りました。 OKRについてのインターネット上の情報などを調べていくうちに、「シンプルかつ具体的で少数の重要な目標に絞る」「野心的な目標を挙げることで成果をストレッチさ…

(翻訳) データエンジニアリングビギナーズガイド 最終部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 第一部と第二部の翻訳はこちら。 satoshihirose.hateblo.jp satoshihirose.hateblo.jp 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 最終…

(翻訳) データエンジニアリングビギナーズガイド 第二部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 第一部の翻訳はこちら。 satoshihirose.hateblo.jp 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 第二部 データモデリング、データパーテ…

(翻訳) データエンジニアリングビギナーズガイド 第一部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 原著者は、Airbnb で Data Scientist をしています。 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 第一部 データエンジニアリング: デー…

(翻訳) データエンジニアの没落

訳者まえがき 下記の翻訳記事と対になる、データエンジニアの役割についての記事を翻訳しました。 satoshihirose.hateblo.jp オリジナルの記事は下記のリンク先のもので、原著者は上記記事と同様に、Apache Airflow や Apache Superset のクリエーターで現在…

(翻訳) データエンジニアの始まり

訳者まえがき 原著者 Maxime Beauchemin の許可を得て以下の記事を翻訳・公開しました。 medium.freecodecamp.org 原著者は、Apache Airflow や Apache Superset のクリエーターで、現在は Lyft で Data Engineer をしています。 データエンジニアの始まり(…

分散システムについての学習

基本 まずはkumagi-sanのスライドを読む 分散システムについて語らせてくれ from Kumazaki Hiroki www.slideshare.net 合意アルゴリズムとアプリケーション 2PC (Two Phase Commit), 3PC (Three Phase Commit) アルゴリズムは単純 2PCはFail-Recovery発生時…

中田 敦『GE 巨人の復活 シリコンバレー式「デジタル製造業」への挑戦 』を読んだ

TLで複数の人がおすすめしていたので読了した。 GE巨人の復活、読了。今年読んだ本の中で、現時点で最高の本だ。これは、クラウド、機械学習、IoT、リーンスタートアップ、の実践における最高の一冊。それらが統合された、本当のデジタル社会がどのようなも…

マイケル・ルイス「かくて行動経済学は生まれり」を読んだ

マイケル・ルイス氏のファンならば、と訳書が出たと聞いて読了した。 かくて行動経済学は生まれり作者: マイケルルイス,Michael Lewis,渡会圭子出版社/メーカー: 文藝春秋発売日: 2017/07/14メディア: 単行本この商品を含むブログを見る ダニエル・カーネマ…