- 相關推薦
在當下社會,崗位職責對人們來說越來越重要,崗位職責主要強調的是在工作范圍內所應盡的責任。什么樣的崗位職責才是有效的呢?下面是小編為大家收集的數據架構師崗位職責,僅供參考,大家一起來看看吧。
數據架構師崗位職責1
1.負責大數據基礎和應用平臺的整體規(guī)劃和架構設計,參與需求分析,架構設計,詳細設計以及技術選型決策
2.參與數據挖掘和建模相關核心算法的代碼實現
3.負責大數據算法平臺的'技術把關,性能調優(yōu),控制架構質量,解決項目技術難題;對研發(fā)項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā)
4.帶領團隊提供并實現大數據算法平臺上各項數據接入、數據挖掘分析及數據可視化的架構設計與能力,支持解決方案實施
5.負責數據庫設計、應用架構設計、核心技術選型等工作
6.協(xié)調解決開發(fā)中的技術問題、設計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行
7.培養(yǎng),指導有能力的員工,指導工程師進行技術驗證實現,核心技術攻關,解決開發(fā)過程中的技術難題
數據架構師崗位職責2
職責:
1、負責大數據開發(fā)團隊建設;
2、負責行業(yè)大數據產品架構設計與研發(fā);
3、負責帶領團隊進行行業(yè)大數據產品關鍵技術攻關。
任職要求:
1、有三年以上大數據應用、開發(fā)經驗;具備海量數據加工處理(ETL)相關經驗,對數據挖掘及機器學習有較為深刻的理解;
2、熟悉Hadoop相關技術,對HDFS、MapReduce、Hive、HBase有一定的使用和開發(fā)經驗;
3、熟悉Linux,熟練使用Shell或Python,進行腳本編寫;
4、對數據結構和數據統(tǒng)計分析算法有較為深刻理解;
5、掌握至少一種主流關系數據庫開發(fā)技術:Oracle、SQL Server、MySQL等;
6、掌握實時流計算技術,有Spark、Storm開發(fā)經驗者優(yōu)先;
7、需要具備2年以上研發(fā)團隊管理經驗。
數據架構師崗位職責3
職責:
1、負責公司的大數據處理框架的研發(fā)設計工作,梳理可實現方案和技術規(guī)范;
2、開發(fā)、完善公司大數據平臺;參與公司離線、實時大數據處理系統(tǒng)的設計、開發(fā)、測試及多個業(yè)務模塊的自動化集成;
3、負責業(yè)務平臺數據統(tǒng)計分析模塊的設計與規(guī)劃;
4、負責公司產品研發(fā)過程中的數據及存儲設計;
5、帶領和培養(yǎng)團隊完成組織分解的目標;
任職要求:
1、統(tǒng)招本科及以上學歷,計算機、軟件工程相關專業(yè),至少8年以上工作經驗,5年以上大數據開發(fā)經驗;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的`基礎架構
3、熟悉數據倉庫,數據算法,分布式計算技術理論,具有大數據整體系統(tǒng)架構設計經驗;
4、熟悉Linux系統(tǒng),熟練使用shell/perl/python腳本處理問題;
5、對深度學習框架(Tensorflow)和機器學習(svm隨機深林貝葉斯等)有一定了解的優(yōu)先;
6、能夠組織項目開發(fā)組協(xié)同工作,包括團隊溝通、計劃、開發(fā)環(huán)境管理等
數據架構師崗位職責4
崗位職責:
1、負責相關開源系統(tǒng)/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負責解決項目上線后生產環(huán)境的各種實際問題,保障大數據平臺在生產上的安全、平穩(wěn)運行;
3、推動優(yōu)化跨部門的業(yè)務流程,參與業(yè)務部門的`技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區(qū)金石路316號新希望中鼎國際辦公,月底項目結束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數據平臺項目架構或開發(fā)經驗,對大數據生態(tài)技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐,注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺開發(fā)體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優(yōu)先;
5、性格開朗、善于溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。
數據架構師崗位職責5
1、負責大數據平臺的`架構設計、核心代碼開發(fā)等任務;根據項目要求編寫相關技術文檔;
2、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發(fā),負責大數據平臺的搭建,完成系統(tǒng)調試、集成與實施;
4、負責建立和維護大數據平臺技術標準規(guī)范,指導開發(fā)人員編寫代碼;
數據架構師崗位職責6
1、正確理解業(yè)務需求,對需求進行工作量評估;
2、參與項目相關的需求、設計、投產手冊等文檔的編寫;
3、根據進度計劃,完成所承擔功能模塊的設計、開發(fā)、單元測試、聯(lián)調測試;
4、配合測試組修復代碼缺陷,確保功能實現與代碼質量;
5、負責所承擔功能模塊投產、部署,及上線后的.日常維護;
6、完成項目經理或者架構師安排的其他工作;
數據架構師崗位職責7
崗位職責:
1、負責面向政府信領域的企業(yè)(不限于)大數據平臺、大數據應用等系統(tǒng)的架構設計、技術規(guī)劃、技術選型
2、跟進業(yè)界大數據技術發(fā)展動態(tài),匹配行業(yè)應用訴求,制定大數據策略,提前識別關鍵技術并完成技術驗證;
3、支撐售前完成項目解決方案技術架構的設計及重要客戶的'交流;
4、負責指導研發(fā)完成大數據產品的開發(fā)
5、帶領團隊進行產品核心技術的創(chuàng)新和積累
崗位要求:
1、熟悉BI和大數據領域的解決方案,具備該領域全面的技術積累,包括報表平臺,OLAP引擎和DB,ETL,數據倉庫建模和設計,海量分布式數據處理分析架構;
2、在大數據處理和分析領域具有3年或者以上的技術規(guī)劃、架構設計經驗,并有成功的項目實踐;
3、4年以上Hadoop實戰(zhàn)經驗,熟悉Hadoop底層文件系統(tǒng)及分布式計算框架,具備傳統(tǒng)數據倉庫、MPP、Hadoop等混搭平臺架構的設計能力和數據建模能力,對大規(guī)模數據并行計算、傳輸、處理等有豐富的經驗;
4、有實際應用storm、spark、flume、kafka等項目經驗優(yōu)先;
5、卓越的技術領導力,善于溝通、發(fā)現和解決產品需求階段、開發(fā)階段和測試階段的問題,并能提供合理解決方案,有大中型互聯(lián)網企業(yè)工作背景優(yōu)先。
數據架構師崗位職責8
職責:
1、搭建基于Hadoop/Spark的數據挖掘體系和大數據分析系統(tǒng)架構;
2、研究大數據領域前沿數據挖掘技術,并引入相應技術在數據中心的使用;
3、進行大數據系統(tǒng)框架設計、模型算法開發(fā);
4、負責大型數據挖掘項目方案制定、項目實施落地及優(yōu)化等;
5、開展數據爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域數據挖掘工作;
任職資格:
1、本科以上學歷(持有學士學位)(985,211優(yōu)先),計算機相關專業(yè),五年工作經驗;
2、二年以上數據挖掘項目經驗,完整參與過數據挖掘大數據平臺的架構開發(fā)過程,具備互聯(lián)網行業(yè)背景優(yōu)先;
3、精通分布式計算框架(hadoop、spark、Storm等)及相關經驗,熟練掌握Hive/SQL,Python,熟悉Python、R相關數值科學計算庫(NumPy,SciPy等);
4、了解傳統(tǒng)的BI/DW理論,能結合傳統(tǒng)BI實踐設計大數據平臺;
5、熟悉常用機器學習算法(如分類、回歸、聚類、關聯(lián)規(guī)則等)及其原理,具備應用場景經驗,如用戶畫像、商品關聯(lián)度分析、輿情分析;
6、熟悉主數據、元數據、數據質量、和數據建模等數據治理相關的'體系和方法;
7、具備較強的邏輯思維能力、數據敏感度,擅于利用數據發(fā)現問題及解決問題;
數據架構師崗位職責9
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統(tǒng)的架構設計工作,包括系統(tǒng)總體規(guī)劃、架構設計、系統(tǒng)分析、軟件實現、性能優(yōu)化;
3、指導開發(fā)人員開發(fā),并解決系統(tǒng)出現的問題,理解物業(yè)需求;
4、制定開發(fā)計劃和控制開發(fā)進度,負責指導研發(fā)團隊開展設計工作;
數據架構師崗位職責10
職責:
1、負責大數據基礎平臺的整體規(guī)劃和架構設計,參與需求分析、技術決策以及詳細設計;
2、為現有大數據集群Hadoop、hive平臺提供性能調優(yōu)、架構優(yōu)化重組,解決系統(tǒng)中的關鍵問題和技術難題;
3、把握基礎業(yè)務復雜系統(tǒng)的'設計,確保系統(tǒng)的架構質量,編寫核心部分代碼;
4、持續(xù)挑戰(zhàn)新的技術方向,攻克大數據量,高并發(fā),穩(wěn)定性等各種技術難點。
任職資格:
1、計算機或相關專業(yè)本科及以上學歷;
2、5年以上hadoop的應用開發(fā)經驗,5年以上數據倉庫開發(fā)實踐經驗,至少一個企業(yè)級數據倉庫項目開發(fā)經驗或者大數據處理項目經驗;
3、良好的編程開發(fā)能力,精通PHP及其他開發(fā)語言;
4、熟悉mysql等數據庫經驗,具備優(yōu)秀的SQL編寫、調優(yōu)能力;
5、熟練掌握Linux常規(guī)命令與工具,精通shell, perl, python等腳本語言至少一種;
6、軟件基礎理論知識扎實,具有良好的數據結構、算法功底;
7、對新技術敏感,學習能力強,樂于接受挑戰(zhàn),具有良好的團隊合作精神;
數據架構師崗位職責11
1、負責大數據項目技術架構評估與設計;
2、負責關鍵功能的開發(fā),技術難題的'解決,以及輸出代碼的關鍵把控;
3、負責對使用關鍵技術的預研和選型,完成PoC;
4、指導工程師完成開發(fā)工作,并能分享技術經驗。
數據架構師崗位職責12
崗位職責:
1、負責規(guī)劃大數據平臺及應用產品的需求和技術方案設計;
2、負責數據對接和對外服務設計、開發(fā)和維護,并能保證質量和性能;
3、負責基于大數據平臺的應用設計、開發(fā)和維護;
4、能從系統(tǒng)全局和各子系統(tǒng)的角度思考可能存在的問題,并提出改進方案建議;
任職要求:
1、大學本科6年以上工作經驗,計算機相關專業(yè)。
2、至少4年以上的Java開發(fā)經驗,3年以上大數據應用系統(tǒng)的開發(fā)和設計經驗。
3、熟悉Hadoop生態(tài)圈技術體系,對離線計算、內存計算和流式計算均有深刻理解,如Hadoop、Storm、Spark三個中的`任意二個,能進行平臺和組件優(yōu)化。
4、精通Hive、HBase倉庫設計,深刻理解MR運行原理和機制,能進行以提供高任務執(zhí)行效率的優(yōu)化。
5、精通Java開發(fā),熟悉JVM調優(yōu),對GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關技術,能進行hbase可靠性診斷和維護。
7、快速研究和學習技術能力。
數據架構師崗位職責13
崗位職責:
1、負責公司大數據平臺架構的技術選型和技術難點攻關工作;
2、依據行業(yè)數據現狀和客戶需求,完成行業(yè)大數據的特定技術方案設計與撰寫;
3、負責研究跟進大數據架構領域新興技術并在公司內部進行分享;
4、參與公司大數據項目的技術交流、解決方案定制以及項目的招投標工作;
5、參與公司大數據項目前期的架構設計工作;
任職要求:
1、計算機及相關專業(yè)本科以上,5年以上數據類項目(數據倉庫、商務智能)實施經驗,至少2年以上大數據架構設計和開發(fā)經驗,至少主導過一個大數據平臺項目架構設計;
2、精通大數據生態(tài)圈的技術,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數據統(tǒng)計查詢性能優(yōu)化能力。熟悉星環(huán)大數據產品線及有過產品項目實施經驗者優(yōu)先;
3、優(yōu)秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業(yè)務需求設計合理的'解決方案;
4、精通ORACLE、DB2、mySql等主流關系型數據庫,熟悉數據倉庫建設思路和數據分層架構思想;
5。熟練掌握java、R、python等1—2門數據挖掘開發(fā)語言;
6。熟悉云服務平臺及微服務相關架構思想和技術路線,熟悉阿里云或騰訊云產品者優(yōu)先;
7、有煙草或制造行業(yè)大數據解決方案售前經驗者優(yōu)先;
8、能適應售前支持和項目實施需要的短期出差;
數據架構師崗位職責14
1. 負責大數據平臺的基礎技術規(guī)劃,編制相關規(guī)范文檔。
2. 負責大數據平臺的數據采集,處理,存儲以及挖掘分析的架構實現。
3. 負責大數據平臺的實際規(guī)劃建設,包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作。
4. 負責大數據相關技術發(fā)展方向的'預研。
5. 參與業(yè)務需求調研,根據需求及行業(yè)特點設計大數據解決方案并跟進具體實施項目。
6. 制定大數據平臺中數據質量,業(yè)務質量監(jiān)控及管理辦法。
崗位要求:
1. 全日制本科及以上學歷,5年以上工作經驗,4年及以上大數據架構設計經驗,熟悉大數據解決方案,包括Hadoop平臺、Spark、storm、機器學習、深度學習等大數據解決方案。
2. 深刻理解大數據處理(流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲等相關技術)實現方法。有架構和設計實踐經驗。
3. 精通大型數據庫Oracle、SqlServer等的開發(fā)。
4. 精通java,Python中的一種或多種語言。
5. 熟悉容器、虛擬化、微服務框架等相關技術。
6. 對數據敏感,有嚴謹的工作思路,良好的溝通能力和團隊合作精神。
7. 熟悉R,Python,SAS、SPSS等數據挖掘經驗者優(yōu)先。
8. 高寬展性,高性能,和分布式系統(tǒng)的實踐及運維經驗者優(yōu)先。
9. 有大型數據倉庫實施、大數據平臺數據開發(fā)經驗,熟悉運營商業(yè)務者優(yōu)先。
數據架構師崗位職責15
1.深刻理解政府行業(yè)業(yè)務模式,構建政府行業(yè)的數據模型,制定公司大數據技術發(fā)展路線;
2.對接業(yè)務研究和技術部門,主動搜集和轉化需求,組織數據中心業(yè)務開發(fā),進行數據相關產品需求分析和設計;
3.搭建數據倉庫,研發(fā)數據庫管理系統(tǒng),搜集、提取、處理業(yè)務積累的海量數據,開展數據分析和挖掘;
4.根據公司戰(zhàn)略和發(fā)展需要,規(guī)劃數據中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區(qū)協(xié)作,協(xié)助對外交流與合作。
【數據架構師崗位職責】相關文章:
數據架構師崗位職責(通用21篇)03-06
架構師崗位職責01-25
高級架構師崗位職責07-02
軟件架構師的崗位職責03-16
系統(tǒng)架構師崗位職責03-05
Java架構師崗位職責03-13
Java架構師的崗位職責01-15
前端架構師的崗位職責04-15
架構師崗位職責15篇01-25