資料來源:
TAAZE 讀冊
Python大數據專案x工程x產品 資料工程師的升級攻略 [電子書] / 林子軒著
- 作者： 林子軒
- 其他作者：
- 出版： 臺北市 : 深智數位 2021[民110]
- 主題： Python(電腦程式語言) , 大數據
- 版本：初版
- ISBN： 9789860776522 (電子資源) 、 9860776520 (電子資源) 、 9789860776621 (PDF)電子資源) 、 9860776628 (PDF)電子資源)
- URL：
點擊此處查看電子書
點擊此處查看hyread電子書
- 一般註：2022上Hyread電子書 教育部補助款 資料型式 : 文字 檢索型式 : 電子書服務平台 題名取自版權頁
-
讀者標籤：
- 系統號： 000295344 | 機讀編目格式
館藏資訊
Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略
本書獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 side project、作品、產品。讀完本書，你將學會分散式爬蟲、rabbitmq、api、MySQL 資料庫、壓力測試、docker、CICD、雲端、traefik、redash 視覺化等，本書是一本集大成的作品。
分享在 Github 獲得 1,500 stars 的大數據 side project，並幫助讀者從 0 開始，打造專屬個人的大數據 side project。
● 資料工程
○ 使用分散式技術，rabbitmq、flower、celery，收集證交所、櫃買中心、期交所等股市資訊。
○ 使用 docker、fastapi 架設 RESTful API 服務。
○ 使用 docker swarm 架設分散式服務，包含爬蟲、api、資料庫 MySQL、rabbitmq 等服務。
○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。
○ 一站式管理多台分散式機器。
● 產品迭代
○ 單元測試 unit test 介紹，包含爬蟲、api 測試範例。
○ 使用 CICD 做持續性整合、部屬，並以 gitlab-ci 搭配 API 服務做為範例。
● API 產品上線
○ 免費網址申請教學，No-IP。
○ 免費 SSL 憑證教學，Let's Encrypt。
○ 一站式管理多服務網址，容器化反向代理工具 Traefik。
● 業界資料視覺化工具
○ 使用 Redash 建立個人化、股市分析儀表板。
林子軒，Sam，目前任職 17 Live 資料工程師。擅長資料工程、資料分析，希望對 Python 社群、大數據領域，提供一份心力。
經歷
● 17 Live 資料工程師。
● 曾任職永豐金證券，軟體工程師。
● 曾於 Open UP Summit 2019，擔任 Speaker。
● 曾任職 tripresso，資料工程師。
● 東華研究所，應用數學碩士。
FinMind
● https://github.com/FinMind/FinMind
● https://finmindtrade.com/
個人 Github
● https://github.com/linsamtw
Email
● samlin266118@gmail.com
如對本書有疑問，歡迎寄信到以上信箱。
筆者除了本書內容外，Github 上也有寫文章介紹，兩篇 kaggle 競賽經驗，分別是生產線分析、庫存需求預設，如對以上有興趣，也可寄信到以上信箱。