PowerShell读写文件，行的去重

Power Shell类似bash终端能够直接操作文件，使用其内置的Get-Content函数，配合一定的参数，能方便地读取文件和重定向。

1. Power Shell>>Get-Content d:\1.txt -totalcount 100 | set-Content top100.txt #读取指定文件的前100行，并另存为top100.txt

2. $file = Get-Content "d:\1.txt"

3.>> Get-Content "d:\1.txt" | %{Write-Host $_.Replace("日","太阳")} #这样就可以实现把d:\1.txt的内容，逐一输出，并把“日”字，替换为太阳。

 

可以用select-object或sort-object并加上unique选项，表示去重。
例如，读取d:\test.txt并去重其中重复的行，然后另存为d:\test_new.txt
Get-Content D:\test.txt | Select-Object -unique|Set-content D:\test_new.txt
或Get-Content D:\test.txt | Sort-Object -unique|Set-content D:\test_new.txt
其中Get-Content表示读取，Set-content表示写入，
Select-object和sort-object的区别在于sort还会进行排序。

指定某些字段去重复：
Get-Content| Sort-Object -Property InstanceID,Message -unique| Set-Content D:\a.csv;

dataFrame的列操作：
df['col2'] = df['col1'].map(lambda x: x**2)