こちら trocco® Advent Calendar 2023 のシリーズ2の11日目の記事です。 qiita.com データエンジニアからプロダクトマネージャーへのキャリアパス？ 自分がそうだったという、かなりポジショントークと希望的観測込みの考えではあるが、データエンジニアから…
はじめに 特にエンジニアリングに必須ではない図書20冊 仕事編 さいごに はじめに 前回の続きで、リストアップしていた会社で働いていくなかで役に立ちそうな残りの20冊を紹介する。 satoshihirose.hateblo.jp 特にエンジニアリングに必須ではない図書20冊 …
はじめに 特にエンジニアリングに必須ではない図書20冊 Sci-Fi 投資・金融・経済 生活 まとめ はじめに ITエンジニア必読本10選、みたいな記事は定期的に生まれ、バズる。 みんな興味があり自分の体験や意見がそれぞれあるからかなと思う。現代ではIT技術職…
はじめに 最近、ビジネスダッシュボードの設計・実装ガイドブックという書籍が出版された。今まであまりなかった視点から書かれたデータに関する本で面白く読んだ。 ビジネスダッシュボード 設計・実装ガイドブック 成果を生み出すデータと分析のデザイン作…
はじめに Steampipe とは何か dbt-steampipe を動かしてみる aws プラグインを使って aws のコストデータを取得する さいごに はじめに たまたま steampipe のサポートプラグインを見たら、結構充実していた。ちょっと調べたら dbt-steampipe プラグインも作…
PMへの転向 2022年のイベントとして個人的に大きかったのは、プロダクトマネージャーへロールチェンジしたことだ。 6月-7月くらいから具体的に考え始めて元上司に相談して、8月に実際にHiring Managerと話をして社内面接を進めて、9月半ばに結果が出て、10月…
2022年読んで良かった本 Amp It Up: Leading for Hypergrowth by Raising Expectations, Increasing Urgency, and Elevating Intensity (English Edition)作者:Slootman, FrankWileyAmazon ServiceNow CEO -> Snowflake CEO の Frank Slootman の経営本。創…
先月から某 SaaS スタートアップで Product Manager の副業をさせていただいている。 今月から副業PdMを始めたが果たしてうまくいくか— (@satoshihirose) July 17, 2022 本業でも最近は Product チームと一緒に働いたり、Product Management 領域の仕事をし…
先週、Data Engineering Study という勉強会でざっくりとモダンデータスタックの話をした。 イベント参加登録者は400人超で最大同時接続数は180くらいだったそうな。 forkwell.connpass.com こちら第14回 #DataEngineeringStudy の発表資料です。Overview of…
背景 この前、Openness というカルチャーに関する記事を書いた。 Openness について - satoshihirose.log 組織のカルチャーについてこれまで思いを馳せることも多く、何となく考えを文章にしてすっきりしたくなったので記事にする。 組織のカルチャーとはど…
"不必要なコミュニケーションを制限する" チームトポロジーを読んでいる。 一環して、逆コンウェイの法則に従うように、つまり理想のシステムアーキテクチャに沿うように組織設計をしようと主張する本である。 チャプター2 で、不必要なコミュニケーションを…
サマリー dbt-trino アダプターを使って dbt を TD で使えるか試したら動いた。 これで dbt のエコシステムを使っていろいろ出来そう 背景 以前 dbt の presto アダプターである dbt-presto を試したが、コードに修正をしないと動かないことが分かった。 sat…
What's this? Customer Reliability Engineering の方法論について考えたことをまとめる。 CREing Google の提唱した CRE 職の新規性は、SRE の発想を自社プラットフォームのみならずその上で動く顧客アプリケーションにも適用したことにある。 基本的にはそ…
サマリー Superset を localhost で動かす TD への接続確認 PyHive で動作確認 trino-python-client で動作確認 sqlalchemy-trino で動作確認 PyHive にパッチを当てて動作確認 サマリー Superset から TD に接続する方法として pyhive、trino-python-client…
これはなに ここ3-4年、散発的にSF小説を読むにつれSF小説好きとしての自認が徐々に強くなってきた。そこで、大した冊数もない自分の既読本の中から、特に面白いと思ったものを挙げて自分の考えをまとめる。 このリストの中で一番古い作品は1949年の一九八四…
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML …
転職して一年経過した CREとしてTDに転職して、一年経過したので今の所感とどんなことやったのかをまとめる。 一人目ロールのCRE 前々職ではAWSインフラに詳しくなって、前職でデータ基盤の開発・運用をした。データ基盤の開発運用は基本的には保守的な活動…
新婚旅行でバリに滞在したときの体験が良かったので、人生で財布に余裕ができたらまたリゾートホテルに滞在したいなと思っていたが、コロナ禍で目処が立たなくなってしまった。時間もあり Apple TV 4K も少し前に購入したので、滞在するとしたらどこが良いか…
サマリー dbt が Treasure Data で動くか試してみた。 結果としては dbt-presto の修正が必要そうで現状のままでは動作しないことが確認できた。 果たして dbt-presto に Treasure Data に合うようなモードを追加するのが良いか、 dbt-athena のように別なプ…
はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事…
条件 現職で管理している現行のデータパイプラインである Treasure Workflow（managed digdag on TD）+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt…
Customer Reliability Engineering とは 現在の自分は B2B SaaS の技術サポートを提供するチームの中で Customer Reliability Engineer (CRE)として働いている。 Customer Reliability Engineering は 2016 年に Google が提唱し始めた職務領域で、Google 社…
はじめに 自分は Martin Kleppmann が言うデータ指向アプリケーションやそれを実現する周辺の技術領域が好きで、業務としてそのような領域のエンジニアリングを引き続きやっていけたらなと思っています。 世の中には関連する職種の求人が多々ありますが、同…
2019年買って良かった物 基本的に必要にかられないと買い物はしないが（書籍は除く）、今年に買って良かった物を紹介する。 第5位 BRAUNのハンドブレンダー みじん切りとか楽にしたりスムージーとかしたいねとずっと話していたが、踏み切れず先延ばしにして…
通勤時間が徒歩+電車で片道30分超くらいで、その道すがらPodcastを聴いています。コンテンツはTechニュースが主で、英語のリスニングも兼ねていて、稀にshadowingもしたりします。以下に、聴いているPodcastを紹介します。その他におすすめの番組あれば教え…
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事…
Summary Presto provides JMX metrics to monitor its system but there is few description in the document what metrics we can use, so I checked it. Monitoring · prestosql/presto Wiki · GitHub I used CLI tool jmxterm to get the information. Co…
最近、組織的な動きによって問題の解決が可能かを考える場面がたまにあるので、何かヒントになることでもないかと思い、前から読んでみたかった本書を読んだ。 HARD THINGS作者: ベン・ホロウィッツ,小澤隆生,滑川海彦、高橋信夫出版社/メーカー: 日経BP社発…
What's this? 去年の8月に現職に就いた際に、組織目標をOKRで管理していることを知りました。 OKRについてのインターネット上の情報などを調べていくうちに、「シンプルかつ具体的で少数の重要な目標に絞る」「野心的な目標を挙げることで成果をストレッチさ…
訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 第一部と第二部の翻訳はこちら。 satoshihirose.hateblo.jp satoshihirose.hateblo.jp 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 最終…
