关于“Apache Pig Distinct运算符”的知识有一些人不是很理解，对此小编给大家总结了相关内容，具有一定的参考借鉴价值，而且易于学习与理解，希望能对大家有所帮助，有这个方面学习需要的朋友就继续往下看吧��

DISTINCT 运算符用于从关系中删除冗余（重复）元组��

语法

下面给出�� DISTINCT 运算符的语法��

grunt> Relation_name2 = DISTINCT Relatin_name1;

��

假设在HDFS目录 /pig_data/ 中有一个名�� student_details.txt 的文件，如下所示��

student_details.txt

001,Rajiv,Reddy,9848022337,Hyderabad
002,siddarth,Battacharya,9848022338,Kolkata 
002,siddarth,Battacharya,9848022338,Kolkata 
003,Rajesh,Khanna,9848022339,Delhi 
003,Rajesh,Khanna,9848022339,Delhi 
004,Preethi,Agarwal,9848022330,Pune 
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai 
006,Archana,Mishra,9848022335,Chennai

通过关系 student_details 将此文件加载到Pig中，如下所示��

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',') 
   as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray);

现在，让我们使用 DISTINCT 运算符从 student_details 关系中删除冗余（重复）元组，并将其另存在一个名�� distinct_data 的关�� 如下所示��

grunt> distinct_data = DISTINCT student_details;

验证

使用 DUMP 运算符验证关�� distinct_data ，如下所示��

grunt> Dump distinct_data;

输出

它将产生以下输出，显示关�� distinct_data 的内容如下��

(1,Rajiv,Reddy,9848022337,Hyderabad)
(2,siddarth,Battacharya,9848022338,Kolkata) 
(3,Rajesh,Khanna,9848022339,Delhi) 
(4,Preethi,Agarwal,9848022330,Pune) 
(5,Trupthi,Mohanthy,9848022336,Bhuwaneshwar)
(6,Archana,Mishra,9848022335,Chennai)

感谢各位的阅读，以上就是“Apache Pig Distinct运算符”的内容了，经过本文的学习后，相信大家对Apache Pig Distinct运算符都有更深刻的体会了吧。这里是群英网络，小编将为大家推送更多相关知识点的文章，欢迎关注��

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：[email protected]进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容��

猜你喜欢

• 怎么创建RDD，具体的实现方式是怎样

  RDD的创建可以通过2种方式， 通过并行化集合创��( 本地对象转分布式RDD )和通过读取外部数据��( 读取文件)创建，如下：

• Apache Pig的Split运算符的应用是怎样��

  SPLIT 运算符用于将关系拆分为两个或多个关系。语法下面给出了 SPLIT 运算符的语法。grunt> SPLIT Relation1_name INTO Relation2_name IF (condition1), Relation2_name (condition2)

• Hadoop配置的准备工作及具体操作是什��

  配置hadoop之前做好准备工作1.修改主机名称，我这里创建了三个虚拟主机，分别命名node-1，node-2，node-3，进�� network 文件删掉里面的内容直接写上主机名就可以了vi /etc/sysconfig/network2.映射 IP 和主机名，之�� reboot 重启主机

• Apache Pig的Filter运算符用法是什��

  FILTER 运算符用于根据条件从关系中选择所需的元组。语法下面给出了 FILTER 运算符的语法。grunt> Relation2_name = FILTER Relation1_name BY (condition);

• Hadoop HDFS的可靠性主要包括哪些，怎么理解

  hadoop可靠性主要包括了哪些，怎么理解？HDFS 的可靠性主要有以下几点:冗余副本策略、机架策略、心跳机制等等。下面我们来详细的了解一��