30年後読んでも面白いであろう海外SF小説10選

これはなに ここ3-4年、散発的にSF小説を読むにつれSF小説好きとしての自認が徐々に強くなってきた。そこで、大した冊数もない自分の既読本の中から、特に面白いと思ったものを挙げて自分の考えをまとめる。 このリストの中で一番古い作品は1949年の一九八四…

Modern Data Stack / モダンデータスタックというトレンドについて

はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML …

CREを一年やってみたサマリー

転職して一年経過した CREとしてTDに転職して、一年経過したので今の所感とどんなことやったのかをまとめる。 一人目ロールのCRE 前々職ではAWSインフラに詳しくなって、前職でデータ基盤の開発・運用をした。データ基盤の開発運用は基本的には保守的な活動…

行ってみたいリゾートホテル3選、2021年夏

新婚旅行でバリに滞在したときの体験が良かったので、人生で財布に余裕ができたらまたリゾートホテルに滞在したいなと思っていたが、コロナ禍で目処が立たなくなってしまった。時間もあり Apple TV 4K も少し前に購入したので、滞在するとしたらどこが良いか…

dbt on Treasure Data with dbt-presto の動作確認をした

サマリー dbt が Treasure Data で動くか試してみた。 結果としては dbt-presto の修正が必要そうで現状のままでは動作しないことが確認できた。 果たして dbt-presto に Treasure Data に合うようなモードを追加するのが良いか、 dbt-athena のように別なプ…

リバースETLはデータパイプラインの何を変えるのか

はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事…

Data Lineage したい

条件 現職で管理している現行のデータパイプラインである Treasure Workflow(managed digdag on TD)+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt…

Customer Reliability Engineer の発展的な職務領域についての覚書

Customer Reliability Engineering とは 現在の自分は B2B SaaS の技術サポートを提供するチームの中で Customer Reliability Engineer (CRE)として働いている。 Customer Reliability Engineering は 2016 年に Google が提唱し始めた職務領域で、Google 社…

データ系エンジニアの職種の違い

はじめに 自分は Martin Kleppmann が言うデータ指向アプリケーションやそれを実現する周辺の技術領域が好きで、業務としてそのような領域のエンジニアリングを引き続きやっていけたらなと思っています。 世の中には関連する職種の求人が多々ありますが、同…

2019年買って良かったものと今欲しいもの

2019年買って良かった物 基本的に必要にかられないと買い物はしないが(書籍は除く)、今年に買って良かった物を紹介する。 第5位 BRAUNのハンドブレンダー みじん切りとか楽にしたりスムージーとかしたいねとずっと話していたが、踏み切れず先延ばしにして…

聴いているPodcastの番組

通勤時間が徒歩+電車で片道30分超くらいで、その道すがらPodcastを聴いています。コンテンツはTechニュースが主で、英語のリスニングも兼ねていて、稀にshadowingもしたりします。以下に、聴いているPodcastを紹介します。その他におすすめの番組あれば教え…

(翻訳) データエンジニアリングの未来

訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事…

JMX metrics exposed in Presto version 302

Summary Presto provides JMX metrics to monitor its system but there is few description in the document what metrics we can use, so I checked it. Monitoring · prestosql/presto Wiki · GitHub I used CLI tool jmxterm to get the information. Co…

ベン・ホロウィッツの「HARD THINGS」を読んだ

最近、組織的な動きによって問題の解決が可能かを考える場面がたまにあるので、何かヒントになることでもないかと思い、前から読んでみたかった本書を読んだ。 HARD THINGS作者: ベン・ホロウィッツ,小澤隆生,滑川海彦、高橋信夫出版社/メーカー: 日経BP社発…

クリスティーナ・ウォドキー「OKR」とジョン・ドーア「Measure What Matters」を読んだ

What's this? 去年の8月に現職に就いた際に、組織目標をOKRで管理していることを知りました。 OKRについてのインターネット上の情報などを調べていくうちに、「シンプルかつ具体的で少数の重要な目標に絞る」「野心的な目標を挙げることで成果をストレッチさ…

(翻訳) データエンジニアリングビギナーズガイド 最終部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 第一部と第二部の翻訳はこちら。 satoshihirose.hateblo.jp satoshihirose.hateblo.jp 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 最終…

(翻訳) データエンジニアリングビギナーズガイド 第二部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 第一部の翻訳はこちら。 satoshihirose.hateblo.jp 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 第二部 データモデリング、データパーテ…

(翻訳) データエンジニアリングビギナーズガイド 第一部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 原著者は、Airbnb で Data Scientist をしています。 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 第一部 データエンジニアリング: デー…

(翻訳) データエンジニアの没落

訳者まえがき 下記の翻訳記事と対になる、データエンジニアの役割についての記事を翻訳しました。 satoshihirose.hateblo.jp オリジナルの記事は下記のリンク先のもので、原著者は上記記事と同様に、Apache Airflow や Apache Superset のクリエーターで現在…

(翻訳) データエンジニアの始まり

訳者まえがき 原著者 Maxime Beauchemin の許可を得て以下の記事を翻訳・公開しました。 medium.freecodecamp.org 原著者は、Apache Airflow や Apache Superset のクリエーターで、現在は Lyft で Data Engineer をしています。 データエンジニアの始まり(…

分散システムについての学習

基本 まずはkumagi-sanのスライドを読む 分散システムについて語らせてくれ from Kumazaki Hiroki www.slideshare.net 合意アルゴリズムとアプリケーション 2PC (Two Phase Commit), 3PC (Three Phase Commit) アルゴリズムは単純 2PCはFail-Recovery発生時…

中田 敦『GE 巨人の復活 シリコンバレー式「デジタル製造業」への挑戦 』を読んだ

TLで複数の人がおすすめしていたので読了した。 GE巨人の復活、読了。今年読んだ本の中で、現時点で最高の本だ。これは、クラウド、機械学習、IoT、リーンスタートアップ、の実践における最高の一冊。それらが統合された、本当のデジタル社会がどのようなも…

マイケル・ルイス「かくて行動経済学は生まれり」を読んだ

マイケル・ルイス氏のファンならば、と訳書が出たと聞いて読了した。 かくて行動経済学は生まれり作者: マイケルルイス,Michael Lewis,渡会圭子出版社/メーカー: 文藝春秋発売日: 2017/07/14メディア: 単行本この商品を含むブログを見る ダニエル・カーネマ…

3級FP技能検定を受験した話

もういい大人なので社会制度やマニーの知識を付けようと思ったため、試験を受けた。 3級 試験範囲 | 日本FP協会 合格のボーダーラインが6割のところ、自己採点の結果は以下だったので、合格したでしょう。 学科: 44/60 実技: 19/20 書店で物色して下記の参考…

株価間倍率を確認するスクリプトを書いた

似た株や指標は似た動きをすることが多いので、その価格差が生まれた時を狙って取引をする手法があり、それは裁定取引の一種です。特に、日経平均とTOPIXの倍率を指してNT倍率と呼んだりします。 投資白書 アービトラージ 裁定ペアトレード NT倍率の見方、使…

finch+twirlでのhtmlレスポンスの返し方

finchでtwirlのテンプレートの出力を返したかった。 Endpoint[Text.Html]って感じでレスポンスのcontent typeを指定出来そうだが、ドキュメント読んでもText.plainの例はあったのだがText.htmlの例が無く、わからなかった。 結局これで解決はした。 val hell…

市場への興味

7月に開催された Yahoo! Japan の Hack Day では最優秀賞は「日米為替における予測モデルの提案と評価 – 機械学習による為替予測AIの実装」というテーマのチームが選ばれたという記事を読んだ。どのような結果をだして最優秀賞に選ばれたのかとても気になる…

狭小邸宅を読んだ

不動産クラスタでちょくちょく引き合いに出されるので気になっていた狭小邸宅を読み終えた。 ペンシルハウスを売る消費者向け不動産会社の営業をしている主人公とその業界の話である。 雰囲気は以下のbotを参照 「おい、お前、今人生考えてたろ。何でこんな…

スノーボール〜ウォーレン・バフェット伝〜を読んだ

伝説的投資家、ウォーレン・バフェットの伝記を読んだ。文庫で上中下の大作。 スノーボール(改訂新版)〔上〕 ウォーレン・バフェット伝 (日経ビジネス人文庫)作者: アリス・シュローダー,伏見威蕃出版社/メーカー: 日本経済新聞出版社発売日: 2014/06/03メデ…

世紀の空売りを読んだ

マネー・ショートが映画化されて話題だったので原作の方を読んだ。 世紀の空売り―世界経済の破綻に賭けた男たち (文春文庫)作者: マイケル・ルイス,東江一紀出版社/メーカー: 文藝春秋発売日: 2013/03/08メディア: 文庫購入: 1人 クリック: 30回この商品を含…