大數據架構師崗位主職責
大數據架構師需要熟悉整個大數據處理流程,包括數據采集、清洗、預處理、存儲、數據分析、機器學習、數據可視化等。今天小編在這給大家整理了一些大數據架構師崗位主職責,我們一起來看看吧!
大數據架構師崗位主職責(篇1)
職責:
1.負責過多個大數據項目的架構;
2.精通Hadoop、Spark, HBase等主流的大數據平臺、精通各組件優化設計原理;
3.精通大數據實時流式處理的設計和應用;
3.熟悉大數據平臺調優,具備大數據生產平臺調優經驗;
4.金融行業,運營商行業大數據架構經驗更優;
5.研究大數據技術的最新發展,并引入到公司技術架構;
6.指導大數據工程師的日常工作,并培養技術骨干。
任職資格:
1.計算機相關專業本科或以上學歷;
2.具有5年以上大數據相關開發經驗;
3.具有2年以上帶團隊經驗
4.對Hadoop/Hive/Spark/HBase/ES等等大數據常用技術有深刻理解,能夠帶領團隊進行技術攻堅,完成中間件的實施、改造、調優;
5.精通海量數據和實時數據的分析處理,能對線上的數據處理性能問題做調優;
6.精通數據倉庫以及維度建模原理,有大型數據倉庫建設經驗;
7.精通關系型數據庫和NoSQL數據庫的使用,熟悉相關理論;
8.溝通順暢,重點突出,高效。
大數據架構師崗位主職責(篇2)
1.負責大數據平臺的開發,管理;
2.負責ETL批量數據集成作業設計開發工作;
3.負責數據批處理作業調度工具的使用操作;
4.設計數據建模方案,對業務數據進行分析和建模;
5、負責平臺故障處理及性能優化;
6、負責項目團隊技術培訓、指導;
大數據架構師崗位主職責(篇3)
1.負責企業數據中心建設,設計數據邏輯模型和物理模型,并完成相關開發
2.梳理公司各業務線常用的指標和維度,統一指標定義口徑
3.根據數據應用開發和數據分析需求,設計數據倉庫信息層模型,提高數據開發的效率
4.負責數據模型的運營和優化,及時響應業務邏輯變更,保證模型的數據質量和穩定性
5.負責公司數據標簽體系的建設,并推動標簽體系在實際業務場景中落地
大數據架構師崗位主職責(篇4)
職責:
1.負責公司新業務方向平臺大數據基礎架構的搭建及后期數據處理體系的升級和優化,不斷提升系統的穩定性和效率。為公司未來方向性產品提供大數據底層平臺的支持和保證。
2.負責制定大數據平臺調用約束和規范;
3.負責大數據方向技術難題的解決,以及代碼質量的把控;
4.作為大數據開發團隊的leader,負責大數據系統平臺開發團隊建設與人才梯隊培養,分享技術經驗,撰寫相關技術文檔指導和培訓工程師。
任職要求:
1.熱衷于大數據技術,并能平衡大數據性能、穩定性、擴展性多重要素進行設計和優化;
2.熟悉服務器基本知識,能夠評估系統硬件性能瓶頸;
3.掌握Linux操作系統的配置,管理及優化,能夠獨立排查及解決操作系統層的各類問題,并能提供解決問題的理論依據;
4.精通Java服務器編程,熟悉JVM原理,對數據結構和算法設計有較為深刻的理解;
5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構,熟悉原理、源碼、集群部署,包括參數優化、Bug修復,貢獻過代碼或提交過bug者優先
6.具備數據中心資源管理、監控、調度等系統研發經驗者優先,具備分布式系統研發經驗者優先;
7.具有應用大數據技術處理的項目開發、維護超過兩年的經驗者優先;
8.具有良好的文檔編寫能力,可進行方案設計、架構設計。
大數據架構師崗位主職責(篇5)
1、負責數據中臺和數據產品的規劃和建設,并為戰略決策和業務決策提供決策依據;
2、制定數據質量、數據模型、數據安全等大數據領域相關標準,并推動落地;
3、負責與業務團隊協同規劃數據中臺體系架構設計,數據領域模型建設,并推動落地;
4、負責大數據應用規劃、為數據挖掘、業務團隊提供指導;
5、負責在數據平臺、大規模分布式系統等領域開展前沿技術研究和落地;
大數據架構師崗位主職責(篇6)
1、領導負責大數據技術團隊建設及管理,并根據業務需求,制定大數據(包括數據存儲,數據模型,數據應用架構)的整體技術棧、業務應用框架和系統架構技術路線;
2、參與規劃從數據源到數據應用的整體流程,并參與相關產品的決策;
3、負責規劃大數據產品的架構設計,包含數據集成、數據存儲、數據應用,并完成相關架構設計文檔的撰寫;
4、負責系統功能模塊分解,接口設計,技術文檔規范,統籌技術全局,具備隨時為各模塊工作補位能力;
5、跟蹤、研究和應用大數據相關前沿技術,持續對大數據應用系統進行性能優化、功能改善以及穩定性提升;
6、通過參與大數據相關的業務線全過程,提供技術決策。
大數據架構師崗位主職責(篇7)
1、大數據平臺的搭建與維護、優化。含存儲、數據處理和分析系統的開發和維護。
2、機器學習、智能算法、實時數據處理程序和算法開發,針對業務場景提供核心算法解決方案。
3、負責公司核心產品數據層架構設計,牽頭重大項目方案設計,組織重點項目技術文檔的撰寫、維護和更新,協助做好信息系統建設中的技術把關;
4、負責數據層代碼框架與核心模塊開發,承擔重點、難點的技術攻堅,提高團隊技術能力,對團隊的整體質量負責,review具體技術方案和代碼實現;
5、研究大數據技術發展動態,研究新型計算框架,并能夠提出優化解決方案;
大數據架構師崗位主職責(篇8)
職責:
負責公司大數據產品架構的設計與實現;
配合大數據產品經理完成產品的快速研發與交付;
負責大數據產品架構的持續優化設計;
負責大數據產品核心組件設計;
負責大數據相關數據架構規劃、數據建模、數據庫設計以及大數據產品研發工作;
為應用開發團隊提供技術支撐。
及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;
完成上級領導交辦的其它各項工作。
大數據架構師崗位主職責(篇9)
1、大數據平臺的規劃、設計、實施,并優化數據庫;
2、對數據庫進行管理,負責數據庫應用系統的運營及監控;
3、對數據庫性能分析與調優,排錯,保證數據正確率;
4、配合其他部門進行的數據處理、查詢,統計和分析工作;
5、完成公司下達的項目開發任務。
大數據架構師崗位主職責(篇10)
1、深入理解業務需求,負責數據中臺的架構設計、關鍵技術實現,并指導團隊理解架構、完成數據中臺產品系統的開發;
2、負責解決開發過程中存在的技術問題,優化中臺架構和設計,保障系統性能與可靠性、安全性;
3、參與整體平臺技術規劃、方案等相關支持工作;