(翻訳) データエンジニアリングビギナーズガイド 最終部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 第一部と第二部の翻訳はこちら。 satoshihirose.hateblo.jp satoshihirose.hateblo.jp 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 最終…

(翻訳) データエンジニアリングビギナーズガイド 第二部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 第一部の翻訳はこちら。 satoshihirose.hateblo.jp 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 第二部 データモデリング、データパーテ…

(翻訳) データエンジニアリングビギナーズガイド 第一部

訳者まえがき 原著者の Robert Chang の許可を得て以下の記事を翻訳・公開しました。 medium.com 原著者は、Airbnb で Data Scientist をしています。 以下から翻訳内容です。 データエンジニアリングビギナーズガイド 第一部 データエンジニアリング: デー…

(翻訳) データエンジニアの没落

訳者まえがき 下記の翻訳記事と対になる、データエンジニアの役割についての記事を翻訳しました。 satoshihirose.hateblo.jp オリジナルの記事は下記のリンク先のもので、原著者は上記記事と同様に、Apache Airflow や Apache Superset のクリエーターで現在…

(翻訳) データエンジニアの始まり

訳者まえがき 原著者 Maxime Beauchemin の許可を得て以下の記事を翻訳・公開しました。 medium.freecodecamp.org 原著者は、Apache Airflow や Apache Superset のクリエーターで、現在は Lyft で Data Engineer をしています。 データエンジニアの始まり(…

分散システムについての学習

基本 まずはkumagi-sanのスライドを読む 分散システムについて語らせてくれ from Kumazaki Hiroki www.slideshare.net 合意アルゴリズムとアプリケーション 2PC (Two Phase Commit), 3PC (Three Phase Commit) アルゴリズムは単純 2PCはFail-Recovery発生時…

中田 敦『GE 巨人の復活 シリコンバレー式「デジタル製造業」への挑戦 』を読んだ

TLで複数の人がおすすめしていたので読了した。 GE巨人の復活、読了。今年読んだ本の中で、現時点で最高の本だ。これは、クラウド、機械学習、IoT、リーンスタートアップ、の実践における最高の一冊。それらが統合された、本当のデジタル社会がどのようなも…

マイケル・ルイス「かくて行動経済学は生まれり」を読んだ

マイケル・ルイス氏のファンならば、と訳書が出たと聞いて読了した。 かくて行動経済学は生まれり作者: マイケルルイス,Michael Lewis,渡会圭子出版社/メーカー: 文藝春秋発売日: 2017/07/14メディア: 単行本この商品を含むブログを見る ダニエル・カーネマ…

3級FP技能検定を受験した話

もういい大人なので社会制度やマニーの知識を付けようと思ったため、試験を受けた。 3級 試験範囲 | 日本FP協会 合格のボーダーラインが6割のところ、自己採点の結果は以下だったので、合格したでしょう。 学科: 44/60 実技: 19/20 書店で物色して下記の参考…

株価間倍率を確認するスクリプトを書いた

似た株や指標は似た動きをすることが多いので、その価格差が生まれた時を狙って取引をする手法があり、それは裁定取引の一種です。特に、日経平均とTOPIXの倍率を指してNT倍率と呼んだりします。 投資白書 アービトラージ 裁定ペアトレード NT倍率の見方、使…

finch+twirlでのhtmlレスポンスの返し方

finchでtwirlのテンプレートの出力を返したかった。 Endpoint[Text.Html]って感じでレスポンスのcontent typeを指定出来そうだが、ドキュメント読んでもText.plainの例はあったのだがText.htmlの例が無く、わからなかった。 結局これで解決はした。 val hell…

市場への興味

7月に開催された Yahoo! Japan の Hack Day では最優秀賞は「日米為替における予測モデルの提案と評価 – 機械学習による為替予測AIの実装」というテーマのチームが選ばれたという記事を読んだ。どのような結果をだして最優秀賞に選ばれたのかとても気になる…

狭小邸宅を読んだ

不動産クラスタでちょくちょく引き合いに出されるので気になっていた狭小邸宅を読み終えた。 ペンシルハウスを売る消費者向け不動産会社の営業をしている主人公とその業界の話である。 雰囲気は以下のbotを参照 「おい、お前、今人生考えてたろ。何でこんな…

スノーボール〜ウォーレン・バフェット伝〜を読んだ

伝説的投資家、ウォーレン・バフェットの伝記を読んだ。文庫で上中下の大作。 スノーボール(改訂新版)〔上〕 ウォーレン・バフェット伝 (日経ビジネス人文庫)作者: アリス・シュローダー,伏見威蕃出版社/メーカー: 日本経済新聞出版社発売日: 2014/06/03メデ…

世紀の空売りを読んだ

マネー・ショートが映画化されて話題だったので原作の方を読んだ。 世紀の空売り―世界経済の破綻に賭けた男たち (文春文庫)作者: マイケル・ルイス,東江一紀出版社/メーカー: 文藝春秋発売日: 2013/03/08メディア: 文庫購入: 1人 クリック: 30回この商品を含…

embulkでgithubからpluginをインストールする方法

ビルド(Java) ./gradlew gem ビルド(Ruby) rake build pkgの下にgemファイルができるので、 embulk gem install pkg/xxx.gem する。 @satoshihirose こんにちは、git cloneして、javaなら./gradlew gem ; rubyならrake buildです。pkgの下にgemファイルがで…

Hadoop / Spark Conference Japan 2016

概要 Hadoop / Spark Conference Japan 2016に参加したチラ裏レポ、感想です。Hadoopカンファレンス初参加でした。途中仕事のメールが入ったためかなり適当にメモったので適当なこと言っていたらすみませんm(__)m www.eventbrite.com A video posted by sato…

ScalaMatsuri 2016

概要 ScalaMatsuri 2016に参加した感想です。 scalamatsuri.org DAY 1 Refactoring in Scala 僕のスライドこちらです。スクリーンが見づらい場合はお手元でご確認ください https://t.co/MtTi7m7DE5 #ScalaMatsuri #sm_a— がくぞ (@gakuzzzz) January 30, 201…

2015年に飲んだビールまとめ

一年でビール何銘柄程度飲めるか 二年位前からビールが好きになったので、去年は100銘柄ビールを飲もうという目標を立てました。 年始は張り切って人を誘ってビアバー巡ってましたが、年の後半はお金も使いたくないので食事誘われたらビアバーを提案するくら…

2015年振り返りと2016年目標

2015年の振り返り 作ったものはだいたいこんな感じ。 入社一年 - satoshihirose 見事に週末はcommitしていないことが分かる。 自分の興味感心はソフトウェアエンジニアリングよりもシステムアーキテクト領域かなと最近思い始めている。 自己組織化するシステ…

早期リターンをしない理由

先週Scala書き始めたCTOと何で早期リターンしないの?って話をしたからメモ書き。もっといい感じに説明出来ると良いんだけど。何か良い参考文献あれば教えてください。 関数の出口が1つである方がコードを追いやすい。 このメソッドから予期せぬ値が返ってき…

入社一年👏

10月で現職に就いて一年が過ぎた。 一年間でやったこと アイテムレコメンド用のデータパイプラインの設計と実装 SQSやRedisやSpray何かを使った。現状の計算はルールベースのアルゴリズムを使っているので、機械学習ベースのものに置き換えてパフォーマンス…

2014年美味しかったランチベスト3〜東京・神田・日本橋編〜

前職では東京駅前のビルに通っていた。 1. ブッチャーブラザーズ 贅沢にも昼から牛・豚のステーキを最高のコスパで食べることが可能だったので、食べていた。 ブッチャーブラザーズ (神田/バル・バール) ブッチャーブラザーズ - 神田/バル・バール [食べログ…

2014年美味しかったランチベスト3〜南青山編〜

現職のオフィスは南青山の閑静な住宅街にある。 今までの3ヶ月間は毎日ランチに外に出るって感じではなかったが、行った所の中でのチョイスした。 1. 赤月 揚げたてサクサクのとんかつ 南青山 とんかつ 赤月 (外苑前/とんかつ) 南青山 とんかつ 赤月 - 外苑…

2014年振り返りと2015年目標

2014年の振り返り 転職 2013年に引き続き、2014年も職場を変えた。10月からなので働き初めて丁度3ヶ月。 2015年は転職の年にはしないようにしたい。 現在も相変わらずScalaを使って開発をしている。 前職でお世話になったIさんAさんHさんKさんOさんSさんには…

ScalaNLPで描画

ScalaNLPスタックのBreeze-Vizってので描画が簡単に出来そうだったので動かしてみた。 Quickstart · scalanlp/breeze Wiki · GitHub ちなみに、Breeze-Vizは This API is highly experimental. It may change greatly. とのこと。 結果、 図楽しい。

satoshihirose.com公開した

ドメインが残っていたし、t2.micro立ててplay2動かしてみた。 t2.microは$10/month切ったし、今後もインスタンスどんどん安くなっていくんだろうな。 http://satoshihirose.com

履歴書をmarkdownで書いてgithubで公開する

履歴書をgithubで公開する 簡単な履歴書が必要になったので、どうせならとmarkdownで書いてgithubで公開した。 satoshihirose/Curriculum-Vitae · GitHub 昔同じようなことやっている人見たのだが、検索しても引っかからなかった。Googleで「git 履歴書」で…

大学の先輩が死んでしまった話

大学の頃好きだった先輩(恋していたというわけではない)が亡くなったというニュースが入った。 みんなショックを受けている。 正直なところ僕は大学を卒業する前から会っていなかったし、おそらく5年以上顔を見ていない。 今、変な気持ちになっているのは…

ツイッター創業物語

ツイッター創業物語が4/24に翻訳刊行されたので当日購入して読了した。 ちなみに原書は3ヶ月前に刊行され、米国でドラマ化が発表されている。 読もうと思ったのはルエダップさんの以下のつぶやきに影響を受けて(Team Geekも一緒に買った) Twitter創業物語…