API:又是一年開源之夏，八大課題項目獎金等你來拿！_HDFS幣是什么幣

又是一年季。今年，ApacheDolphinScheduler同樣參與到了活動中來，希望有更多學生群體關注到ApacheDolphinScheduler，并踴躍參與項目共建拿獎金！

No.1活動介紹

開源之夏是由“開源軟件供應鏈點亮計劃”發起并長期支持的一項暑期開源活動，由中國科學院軟件研究所與openEuler社區共同舉辦，旨在鼓勵在校學生積極參與開源軟件的開發維護，促進優秀開源軟件社區的蓬勃發展，培養和發掘更多優秀的開發者。

學生可自主選擇感興趣的項目進行申請，并在中選后獲得社區導師親自指導。根據項目的難易程度和完成情況，參與者還將獲取開源之夏活動獎金和結項證書。

開源之夏活動官網：https://summer.iscas.ac.cn/

No.2活動日程

No.3項目介紹

ApacheDolphinScheduler是一個云原生易擴展的可視化DAG工作流任務調度系統。致力于解決數據處理流程中復雜的任務依賴關系，使各種任務類型(Spark/Flink/MR/Shell/Python/SQL等)在工作流編排中開箱即用。

No.4獎金設置

進階：獎金人民幣12000元

優化類的任務，例如提高性能，降低資源占有

基礎：獎金人民幣8000元

功能類的任務，例如為本社區開源項目增加一個或若干個重要特性等

No.5八大課題

本次活動，ApacheDolphinScheduler開源社區共設有8個項目課題具體如下，歡迎參與：

01為DolphinSchedulerPythonAPI添加資源文件

Coinbase國際業務開發副總裁：加拿大擴張是雙管齊下的國際戰略的一部分:金色財經報道，隨著Coinbase在加拿大的推出，Coinbase國際業務開發副總裁Nana Murugesan表示，該交易所正在深入發展。作為雙管齊下的國際戰略的一部分，深入是指在具有明確監管框架的市場中采取 1:1 高度本地化的戰略。

該戰略的第二部分是走向廣泛，這需要跨市場提供一對多的產品和服務，例如最近推出的錢包即服務。這位高管表示，加拿大的特殊之處在于它提供的是參與式監管，而不像美國使用的是執行式監管。[2023/8/17 18:06:48]

222290294

進階/Advanced

Python

目前，DolphinSchedulerPythonAPI只能傳遞字符串格式傳遞任務的參數，例如我們的tutorial

dolphinscheduler/dolphinscheduler-python/pydolphinscheduler/src/pydolphinscheduler/examples/tutorial.py

我們只將一個字符串傳遞給shell任務類型。但通常來說，用戶希望具體的執行代碼儲存在其他系統中，例如將具體文件存儲在本地文件系統、GitHub、GitLab、AmazonS3、阿里云OSS等。也許我們可以添加語法糖讓用戶更加簡單的操作外部文件

任務task_parent將從URLhttps://github.com/apache/dolphinscheduler/blob/dev/script/install.sh加載文件內容并將其傳遞給參數command，它使我們的DAG文件更容易和可維護

實現Resource的插件化

實現具體的插件Resource包括但不限于本地文件系統，GitHub,GitLab,AmazonS3,阿里云OSS

PythonAPI的通過測試覆蓋率，當前閾值為90%

文檔，包括開發和使用

Suia與Cetus將分別空投10萬枚SUI以獎勵所有SUIA IDO參與者:5月16日消息，基于公鏈 Sui 的流動性協議 Cetus 官方宣布，Sui 生態社交協議 Suia 計劃空投 10 萬枚 SUI 以獎勵所有 SUIA IDO 參與者，Cetus 決定額外提供 10 萬枚 SUI 來支持這一計劃，分發將在 1 天內完成。[2023/5/16 15:06:55]

熟悉python，包括decorator、io、network、unittest、document

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

鐘嘉杰

聯系方式：zhongjiajie955@gmail.com

02資源中心優化

222290456

進階/Advanced

Java、Shell

重構Dolphinscheduler資源中心的讀寫邏輯

目前資源中心讀寫HDFS/S3/本地目錄通過在數據庫表中t_ds_resources記錄文件/文件夾目錄來實現文件記錄，但是在用戶初始化DS或者用戶在DS的外部修改了第三方存儲的內容的時候DS無法進行實時同步，希望能夠與第三方存儲的內容保證實時同步

DS不存儲資源中心中文件的路徑，對于資源中心的讀寫全都通過調用第三方API實現，只保存任務實例依賴到的內容路徑于數據庫用于文件刪除校驗。

實現現有的資源中心的所有功能，其中包括文件/文件夾增刪改查，任務實例調用資源中心

后端API文檔

了解Linux系統，對Linux文件管理有一定的熟悉

了解HDFS/S3組件，能夠較快速的根據官方文檔學習API的使用

熟悉Java語言

https://github.com/apache/dolphinscheduler

Arbitrum前首席營銷官Andrew Saunders加入Hash Flow擔任CMO:金色財經報道，去中心化交易協議Hash Flow官方宣布Arbitrum前首席營銷官Andrew Saunders已正式加入HashFlow擔任首位CMO，Andrew將領導Hashflow在全球范圍內的所有營銷、增長和傳播工作。

Andrew在加入Arbitrum之前，在亞馬遜的全球品牌營銷團隊工作，幫助建立了亞馬遜的娛樂和文化營銷實踐，在那之前，他是Tastemade的全球品牌戰略和營銷主管，還曾擔任NBCUniversal的內容創新和創意副總裁，并共同創立了Creative Artists Agency的品牌合作部門。[2023/4/26 14:28:00]

https://github.com/apache/dolphinscheduler-website

向梓豪

聯系方式：zihaoxiang@apache.org

03master/worker/api模塊日志優化

222290457

進階/Advanced

Java

由于DS日志不方便真實定位問題，需要將打印日志進行規范及優化

整理出DS打印日志規范指導文檔，并提交到文檔庫

將master/worker/api模塊按照規范文檔進行落地并提交到開發分支

熟悉Java語言

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

進勇

聯系方式：jiny.li@foxmail.com

04自動收集、保存作業提交的Yarn作業的applicationid

222290458

進階/Advanced

比特小鹿2022年總收入為3.333億美元，凈虧損為6040萬美元:4月20日消息，據官網消息，吳忌寒旗下礦業公司比特小鹿Bitdeer發布2022年全年財務業績和運營更新報告。根據該報告，截至2022年12月31日，Bitdeer 2022年總收入為3.333億美元，較2021年的3.947已美元下降15.5%，主要是由于專有挖礦、礦機銷售和云算力產生的收入減少，部分被三種托管服務產生的收入增加所抵消，這部分是由公司挖礦數據中心業務的擴張所推動的。

此外，2022年凈虧損為6040萬美元，而2021年凈利潤為8260萬美元。2022年12月31日，公司管理算力為14 EH/s，比截至2021年12月31日的8.1EH/s增長了72.8%。截至2022年12月31日，電力容量為775MW，比截至2021年12月31日的402MW增長92.8%。

此前消息，比特小鹿于4月14日上市納斯達克。[2023/4/20 14:15:15]

Java

DolphinScheduler支持各種各樣的作業，比如Python、Shell等，其中一個很基礎的功能就是收集這些作業創建的YarnJob的applicationid。現在的實現方式是用一個正則表達式從作業的日志中解析，但這并不是一個完美的實現方式，本課題的任務就是用一種新的方式去自動收集、報錯YarnJob的applicationid信息，當然了，必須對用戶透明，即對用戶創建的作業無侵入。

自動收集、報錯YarnJob的applicationid信息

必須對用戶透明，即對用戶創建的作業無侵入

熟悉Java,Yarn,Hive,SparkSQL,AOP

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

gabrywu

聯系方式：gabrywu@apache.org

數據：最近一周，以太坊網絡新增188萬枚NFT資產:金色財經報道，NFTScan數據顯示，最近一周，以太坊網絡新增188.25萬枚NFT資產，平均每天新增鑄造26.89萬枚NFT資產。[2022/8/15 12:25:27]

05為DolphinScheduler添加服務初始化的工作流demo

222290459

進階/Advanced

Java、Shell

用戶在啟動DolphinScheduler服務后，可以使用demo-tool程序預置工作流demo，包括但不限于簡單的shell任務、邏輯組件任務、參數傳遞等功能，引導用戶更方便地使用DolphinScheduler。

預置工作流demo的tool程序

服務啟動腳本添加init模式

工作流demo包括但不限于shell任務、邏輯組件任務、參數傳遞等

熟悉Java、Shell

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

蔡順峰

聯系方式：caishunfeng2021@gmail.com

06為DolphinScheduler添加Java任務類型

222290460

進階/Advanced

Java、Shell、Vue、TypeScript

提供Java類型的調度任務，包括Jar和自定義Java代碼兩種方式，通過WEBUI定義Java運行時所需要的Resources、Libs資源文件和JVM參數，覆蓋定時任務調用Java程序場景并提升用戶方便配置。

可執行的Java類型任務插件

Java類型插件支持Jar方式，提供Resources、Libs資源文件和JVM參數的動態參數輸入

Java類型插件支持WebUI自定義Java代碼方式，提供Java類即時編譯，執行

熟悉Shell、Java、SPI、Javacompiler、VUE3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

Kerwin

聯系方式：zhuangchong6@163.com

07支持測試任務

222290461

進階/Advanced

Java、Vue

目前新增/修改的工作流在上線前很難驗證工作流配置是否正確，只能通過在線上環境執行來驗證，所以有必要支持測試環境執行任務。

數據源中心支持配置測試環境源，線上環境源可綁定一個測試環境源。任務執行及工作流執行支持“是否測試”選項，選擇測試時，Worker節點在任務執行前，自動替換線上環境源為綁定的測試環境源，再配合Worker分組實現線上、測試環境的隔離，最終達到支持測試任務的目標。

數據源配置頁面增加線上、測試選項，支持綁定測試源

工作流執行頁面、任務執行頁面新增線上、測試選項

Master節點、Worker節點解析執行環境標識，替換數據源為測試數據源

工作流實例、任務實例頁面增加執行環境標識

熟悉Java、Spring、VUE3

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

溫合民

聯系方式：whm_777@163.com

08為DolphinScheduler的項目和資源中心增加讀寫權限的授權管理

222290462

基礎/Basic

Java、Vue、TypeScript

當前DolphinScheduler對于權限的管控相對比較簡單，希望在進行項目和資源中心授權時增加操作權限管控來進行讀寫權限的分離。

針對單個項目的全部內容進行讀寫權限區分，對單個用戶針對單個項目授權只讀或者讀寫權限

針對資源中心的全部內容進行讀寫權限區分，基于當前資源中心的授權內容區分出只讀或者讀寫權限

進行授權時前端頁面增加只讀和讀寫的授權操作

熟悉Java、Spring、Vue3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

孫朝和

聯系方式：sunzhaohe0825@gmail.com

No.6申請參與項目

01申請資格

本活動面向年滿18周歲在校學生。

暑期即將畢業的學生，只要在申請時學生證處在有效期內，就可以提交申請。

海外學生可提供錄取通知書/學生卡/在讀證明證明學生身份。

02參與流程

03申請建議

歡迎主動向導師發送郵件進行溝通，附上自己的方案和簡歷，更加了解你~

認真了解社區項目文檔，與導師充分溝通。

歡迎加入交流群交流

參與貢獻

隨著國內開源的迅猛崛起，ApacheDolphinScheduler社區迎來蓬勃發展，為了做更好用、易用的調度，真誠歡迎熱愛開源的伙伴加入到開源社區中來，為中國開源崛起獻上一份自己的力量，讓本土開源走向全球。

參與DolphinScheduler社區有非常多的參與貢獻的方式，包括：

貢獻第一個PR(文檔、代碼)我們也希望是簡單的，第一個PR用于熟悉提交的流程和社區協作以及感受社區的友好度。

社區匯總了以下適合新手的問題列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手問題列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何參與貢獻鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

來吧，DolphinScheduler開源社區需要您的參與，為中國開源崛起添磚加瓦吧，哪怕只是小小的一塊瓦，匯聚起來的力量也是巨大的。

參與開源可以近距離與各路高手切磋，迅速提升自己的技能，如果您想參與貢獻，我們有個貢獻者種子孵化群，可以添加社區小助手微信(Leonard-ds)，手把手教會您(貢獻者不分水平高低，有問必答，關鍵是有一顆愿意貢獻的心)。

添加小助手微信時請說明想參與貢獻。

來吧，開源社區非常期待您的參與。

活動推薦

當數據資源成為生產發展乃至于生存過程中必不可少的要素，企業該如何通過數據集成幫助企業數據服務全生命周期落地呢？5月14日，數據集成框架ApacheSeaTunnel(Incubating)將邀請一站式數據集成平臺ApacheInLong(Incubating)的技術專家與開源貢獻者們，一同來到直播間，與大家暢談使用ApacheSeaTunnel(Incubating)與ApacheInLong(Incubating)后的實踐經歷與心得體會。

直播鏈接：https://www.slidestalk.com/m/777

Tags：APIDAGHDFSAPI價格API幣DAG價格DAG幣HDFS幣是什么幣

PEPE